← Retour à Tous les Blogs et Publications Spectroscopic wavelength selection algorithm display

Sélection de longueur d'onde et ingénierie des fonctionnalités pour les modèles spectraux NIR

Pourquoi restreindre un étalonnage proche infrarouge à des longueurs d'onde ou à des intervalles sélectionnés peut le rendre plus exact et plus facile à interpréter, comment fonctionnent les principales méthodes de sélection, et pourquoi la sélection elle-même doit être validée — d'après les articles originaux des méthodes et les revues publiées.

Pourquoi sélectionner des longueurs d'onde

Un spectre proche infrarouge est enregistré sur des centaines de longueurs d'onde régulièrement espacées, alors que le nombre d'échantillons de référence disponibles pour l'étalonnage dans l'agroalimentaire et l'alimentation animale ou dans les industries de procédé est généralement bien plus faible. Zou Xiaobo et al. notent dans leur revue que ce grand nombre de variables spectrales rend souvent peu fiable la prédiction d'une variable dépendante, et que des efforts considérables ont été consacrés à des méthodes qui identifient les variables porteuses d'information utile ou éliminent celles qui contiennent surtout du bruit [1]. La régression des moindres carrés partiels (PLS) gère de nombreuses variables corrélées, mais les régions dominées par le bruit ou par des absorbants sans rapport entrent tout de même dans le modèle. Les retirer peut améliorer la capacité prédictive et permet de mieux voir sur quelles parties du spectre le modèle s'appuie, mais l'étape de sélection introduit aussi de nouvelles possibilités de surajustement ; c'est pourquoi Andersen et Bro mettent l'accent, dans leur tutoriel, sur la manière d'utiliser la sélection de variables en pratique et d'éviter les pièges les plus courants [2].

Méthodes par intervalles : iPLS

La PLS par intervalles (iPLS), introduite par Nørgaard et al., divise le spectre en intervalles, construit un modèle PLS local sur chacun d'eux et compare les modèles locaux au modèle sur spectre complet dans une représentation graphique [3]. Sur un jeu de données NIR de 60 échantillons de bière corrélés à la concentration en extrait primitif, le meilleur modèle iPLS a divisé par quatre l'erreur de prédiction du modèle sur spectre complet, et les auteurs ont souligné que la sortie graphique aidait à interpréter le système chimique sous-jacent au modèle [3]. Comme l'iPLS conserve des blocs contigus de longueurs d'onde plutôt que des points isolés, la région sélectionnée suit la forme des bandes d'absorption ; dans la même étude, les intervalles retenus couvraient les variables trouvées par sélection pas à pas ascendante et par deux autres méthodes de sélection [3].

Méthodes de recherche et de classement

Plusieurs autres familles de méthodes sont couramment utilisées ; les revues de Zou Xiaobo et al. et d'Andersen et Bro les décrivent plus en détail [1][2].

  • Algorithmes génétiques (GA-PLS) : des sous-ensembles candidats de longueurs d'onde sont codés sous forme de chaînes binaires et évoluent par sélection, croisement et mutation, avec comme critère d'aptitude une erreur PLS en validation croisée. Leardi a montré qu'après des modifications appropriées, les variables sélectionnées par GA-PLS forment souvent des régions spectrales bien définies plutôt que des variables isolées dispersées dans le spectre, ce qui donne des modèles de meilleure capacité prédictive que le spectre complet [4].
  • Élimination des variables non informatives (UVE) : Centner et al. ajoutent aux données des variables de bruit artificielles et éliminent toute variable expérimentale qui n'est pas plus importante que les variables de bruit, au vu des coefficients de régression PLS [5].
  • Échantillonnage adaptatif compétitif repondéré (CARS) : Li et al. classent les longueurs d'onde selon la valeur absolue de leurs coefficients de régression PLS au fil de sous-échantillonnages Monte Carlo répétés, réduisent progressivement l'ensemble de variables et conservent le sous-ensemble présentant la plus faible erreur de validation croisée [6].
  • Importance des variables dans la projection (VIP) : un score qui résume la contribution de chaque variable à un modèle PLS. Chong et Jun ont comparé la PLS avec VIP au lasso et à la régression pas à pas dans des simulations à prédicteurs corrélés, et ont discuté du choix du seuil VIP [7].
  • Test de significativité par jackknife : Westad et Martens testent la significativité de chaque coefficient de régression à l'aide des sous-modèles de validation croisée et ne conservent que les variables significatives ; sur des spectres NIR de bière, la méthode a fait aussi bien ou mieux que les autres méthodes de sélection testées et s'est montrée robuste vis-à-vis du schéma de validation croisée [8].

Le risque de sursélection

Toute méthode de sélection explore un très grand nombre de sous-ensembles possibles, et plus on compare de sous-ensembles, plus il est probable que l'un d'eux s'ajuste aux données d'étalonnage par hasard. Jouan-Rimbaud et al. l'ont vérifié en ajoutant des variables aléatoires à des données NIR et ont constaté qu'un algorithme génétique pouvait encore sélectionner des variables non pertinentes malgré une procédure de validation soignée ; appliquer une sélection ascendante aux sous-ensembles du GA réduisait cet effet [9]. La conséquence pratique est que l'erreur utilisée pour choisir les variables n'est pas une estimation honnête des performances futures. Fernández Pierna et al. ont donc utilisé l'erreur quadratique moyenne de prédiction sur un jeu de test indépendant comme critère de leur méthode de sélection descendante, et ont rapporté que les modèles sélectionnés amélioraient, ou du moins conservaient, les performances de prédiction de la PLS sur spectre complet tout en utilisant moins de variables [10]. Trois précautions découlent de cette littérature [2][9][10] :

  • Garder un jeu de test en dehors de la boucle de sélection. Les échantillons utilisés pour choisir les longueurs d'onde ou les intervalles ne doivent pas servir aussi à juger le modèle final.
  • Comparer au modèle sur spectre complet. Une sélection ne mérite d'être conservée que si elle améliore la prédiction sur des échantillons indépendants, ou si elle l'égale avec un modèle plus simple et plus interprétable.
  • Vérifier la chimie. Des régions sélectionnées qui ne peuvent être reliées à des bandes d'absorption de l'analyte ou de la matrice méritent la méfiance, surtout lorsque le jeu d'étalonnage est petit.

L'approche d'USTECH en matière de sélection de longueurs d'onde

Dans la suite caliX, les outils de régression PLS, de prétraitement spectral et de validation de modèle servent à comparer une plage de longueurs d'onde restreinte au modèle sur spectre complet, sur des échantillons qui n'ont pas servi à faire ce choix, comme le recommande la littérature ci-dessus [2][10]. La justification d'une plage restreinte pour un produit et un analyseur donnés est tranchée par les résultats de validation et non par la seule méthode de sélection, et elle est établie lors d'une étude de faisabilité réalisée avec vos propres échantillons et analyses de référence, conformément à l'ISO 12099 [11].

Références

  • [1] Xiaobo, Z., Jiewen, Z., Povey, M.J.W., Holmes, M., Hanpin, M. (2010). Variables selection methods in near-infrared spectroscopy. Analytica Chimica Acta, 667(1–2), 14–32. doi:10.1016/j.aca.2010.03.048
  • [2] Andersen, C.M., Bro, R. (2010). Variable selection in regression — a tutorial. Journal of Chemometrics, 24(11–12), 728–737. doi:10.1002/cem.1360
  • [3] Nørgaard, L., Saudland, A., Wagner, J., Nielsen, J.P., Munck, L., Engelsen, S.B. (2000). Interval Partial Least-Squares Regression (iPLS): A Comparative Chemometric Study with an Example from Near-Infrared Spectroscopy. Applied Spectroscopy, 54(3), 413–419. doi:10.1366/0003702001949500
  • [4] Leardi, R. (2000). Application of genetic algorithm–PLS for feature selection in spectral data sets. Journal of Chemometrics, 14(5–6), 643–655. doi:10.1002/1099-128X(200009/12)14:5/6<643::AID-CEM621>3.0.CO;2-E
  • [5] Centner, V., Massart, D.L., de Noord, O.E., de Jong, S., Vandeginste, B.M., Sterna, C. (1996). Elimination of Uninformative Variables for Multivariate Calibration. Analytical Chemistry, 68(21), 3851–3858. doi:10.1021/ac960321m
  • [6] Li, H., Liang, Y., Xu, Q., Cao, D. (2009). Key wavelengths screening using competitive adaptive reweighted sampling method for multivariate calibration. Analytica Chimica Acta, 648(1), 77–84. doi:10.1016/j.aca.2009.06.046
  • [7] Chong, I.-G., Jun, C.-H. (2005). Performance of some variable selection methods when multicollinearity is present. Chemometrics and Intelligent Laboratory Systems, 78(1–2), 103–112. doi:10.1016/j.chemolab.2004.12.011
  • [8] Westad, F., Martens, H. (2000). Variable Selection in near Infrared Spectroscopy Based on Significance Testing in Partial Least Squares Regression. Journal of Near Infrared Spectroscopy, 8(2), 117–124. doi:10.1255/jnirs.271
  • [9] Jouan-Rimbaud, D., Massart, D.L., de Noord, O.E. (1996). Random correlation in variable selection for multivariate calibration with a genetic algorithm. Chemometrics and Intelligent Laboratory Systems, 35(2), 213–220. doi:10.1016/S0169-7439(96)00062-7
  • [10] Fernández Pierna, J.A., Abbas, O., Baeten, V., Dardenne, P. (2009). A Backward Variable Selection method for PLS regression (BVSPLS). Analytica Chimica Acta, 642(1–2), 89–93. doi:10.1016/j.aca.2008.12.002
  • [11] ISO 12099:2017. Animal feeding stuffs, cereals and milled cereal products — Guidelines for the application of near infrared spectrometry. ISO, Geneva. iso.org/standard/67352.html
USTECH Innovations Logo

Évaluez cette application pour votre procédé

Notre équipe applications peut détailler la méthode, partager la littérature de référence et examiner avec vous son application à votre procédé.

Contactez-nous

Lire ensuite

Comprendre le filtrage Savitzky-Golay dans le prétraitement
GUIDE

Comprendre le filtrage Savitzky-Golay dans le prétraitement

Ce que le filtre de Savitzky-Golay fait réellement à un spectre, pourquoi les dérivées éliminent les lignes de base et comment choisir la longueur de fenêtre et l'ordre du polynôme, avec la littérature originale et les travaux qui ont suivi.

Lire le guide
Introduction à la régression PLS dans la suite caliX
GUIDE

Introduction à la régression PLS en caliXSuite

Un parcours pratique d'un étalonnage PLS : comment les données sont partagées, comment le prétraitement et le nombre de variables latentes sont choisis par validation, quels diagnostics lire, et comment maintenir le modèle en vie en production.

Lire le guide