← Volver a Todos los Blogs y Publicaciones Spectroscopic wavelength selection algorithm display

Selección de longitud de onda e ingeniería de características para modelos espectrales NIR

Por qué restringir una calibración de infrarrojo cercano a longitudes de onda o intervalos seleccionados puede hacerla más exacta y fácil de interpretar, cómo funcionan los principales métodos de selección y por qué la propia selección debe validarse — a partir de los artículos originales de los métodos y de revisiones publicadas.

Por qué seleccionar longitudes de onda

Un espectro de infrarrojo cercano se registra en cientos de longitudes de onda equiespaciadas, mientras que el número de muestras de referencia disponibles para la calibración en la industria de alimentos y piensos y en la de procesos suele ser mucho menor. Zou Xiaobo et al. señalan en su revisión que este gran número de variables espectrales hace a menudo poco fiable la predicción de una variable dependiente, y que se ha dedicado un esfuerzo considerable a métodos que identifican las variables portadoras de información útil o eliminan las que contienen sobre todo ruido [1]. La regresión por mínimos cuadrados parciales (PLS) maneja muchas variables correlacionadas, pero las regiones dominadas por el ruido o por absorbentes ajenos siguen entrando en el modelo. Eliminarlas puede mejorar la capacidad predictiva y facilita ver en qué partes del espectro se apoya el modelo, pero la etapa de selección introduce también nuevas vías de sobreajuste, razón por la cual Andersen y Bro centran su tutorial en cómo utilizar la selección de variables en la práctica y evitar los errores más comunes [2].

Métodos por intervalos: iPLS

El PLS por intervalos (iPLS), introducido por Nørgaard et al., divide el espectro en intervalos, construye un modelo PLS local en cada uno y compara los modelos locales con el modelo de espectro completo en una representación gráfica [3]. En un conjunto de datos NIR de 60 muestras de cerveza correlacionadas con la concentración de extracto original, el mejor modelo iPLS redujo cuatro veces el error de predicción del modelo de espectro completo, y los autores destacaron que la salida gráfica ayudaba a interpretar el sistema químico subyacente al modelo [3]. Como iPLS conserva bloques contiguos de longitudes de onda y no puntos aislados, la región seleccionada sigue la forma de las bandas de absorción; en el mismo estudio, los intervalos elegidos abarcaban las variables halladas por selección progresiva paso a paso y por otros dos métodos de selección [3].

Métodos de búsqueda y de clasificación

Se utilizan habitualmente otras varias familias de métodos; las revisiones de Zou Xiaobo et al. y de Andersen y Bro los describen con más detalle [1][2].

  • Algoritmos genéticos (GA-PLS): los subconjuntos candidatos de longitudes de onda se codifican como cadenas binarias y evolucionan mediante selección, cruce y mutación, con un error PLS validado por validación cruzada como criterio de aptitud. Leardi mostró que, tras las modificaciones adecuadas, las variables seleccionadas por GA-PLS forman a menudo regiones espectrales bien definidas en lugar de variables sueltas dispersas por el espectro, dando modelos con mejor capacidad predictiva que el espectro completo [4].
  • Eliminación de variables no informativas (UVE): Centner et al. añaden a los datos variables de ruido artificiales y eliminan toda variable experimental que no sea más importante que las variables de ruido, a juzgar por los coeficientes de regresión PLS [5].
  • Muestreo competitivo adaptativo reponderado (CARS): Li et al. ordenan las longitudes de onda según el valor absoluto de sus coeficientes de regresión PLS a lo largo de submuestreos Monte Carlo repetidos, reducen el conjunto de variables paso a paso y conservan el subconjunto con el menor error de validación cruzada [6].
  • Importancia de la variable en la proyección (VIP): una puntuación que resume la contribución de cada variable a un modelo PLS. Chong y Jun compararon PLS con VIP frente al lasso y la regresión paso a paso en simulaciones con predictores correlacionados y discutieron cómo debe elegirse el umbral de VIP [7].
  • Prueba de significación por jackknife: Westad y Martens evalúan la significación de cada coeficiente de regresión utilizando los submodelos de la validación cruzada y conservan solo las variables significativas; con espectros NIR de cerveza, el método funcionó igual o mejor que los demás métodos de selección probados y fue robusto frente al esquema de validación cruzada [8].

El riesgo de la sobreselección

Todo método de selección busca entre un número muy grande de subconjuntos posibles y, cuantos más subconjuntos se comparan, más probable es que uno de ellos se ajuste por azar a los datos de calibración. Jouan-Rimbaud et al. lo comprobaron añadiendo variables aleatorias a datos NIR y observaron que un algoritmo genético podía seguir seleccionando variables irrelevantes pese a un procedimiento de validación cuidadoso; aplicar una selección progresiva a los subconjuntos del GA redujo el efecto [9]. La consecuencia práctica es que el error utilizado para elegir las variables no es una estimación honesta del rendimiento futuro. Por ello, Fernández Pierna et al. utilizaron como criterio de su método de selección regresiva el error cuadrático medio de predicción en un conjunto de prueba independiente, e informaron de que los modelos seleccionados mejoraban, o al menos mantenían, el rendimiento predictivo del PLS de espectro completo utilizando menos variables [10]. De esta literatura se derivan tres precauciones [2][9][10]:

  • Mantener un conjunto de prueba fuera del bucle de selección. Las muestras utilizadas para elegir longitudes de onda o intervalos no deben usarse también para juzgar el modelo final.
  • Comparar con el modelo de espectro completo. Merece la pena conservar la selección solo si mejora la predicción en muestras independientes, o si la iguala con un modelo más sencillo y más interpretable.
  • Comprobar la química. Las regiones seleccionadas que no pueden vincularse a bandas de absorción del analito o de la matriz merecen desconfianza, sobre todo cuando el conjunto de calibración es pequeño.

Cómo aborda USTECH la selección de longitudes de onda

En la suite caliX, las herramientas de regresión PLS, preprocesamiento espectral y validación de modelos se utilizan para comparar un intervalo restringido de longitudes de onda con el modelo de espectro completo en muestras que no se usaron para hacer la elección, tal como recomienda la literatura anterior [2][10]. Si un intervalo restringido está justificado para un producto y un analizador concretos lo deciden los resultados de validación y no solo el método de selección, y se establece en un estudio de viabilidad con sus propias muestras y análisis de referencia, de acuerdo con ISO 12099 [11].

Referencias

  • [1] Xiaobo, Z., Jiewen, Z., Povey, M.J.W., Holmes, M., Hanpin, M. (2010). Variables selection methods in near-infrared spectroscopy. Analytica Chimica Acta, 667(1–2), 14–32. doi:10.1016/j.aca.2010.03.048
  • [2] Andersen, C.M., Bro, R. (2010). Variable selection in regression — a tutorial. Journal of Chemometrics, 24(11–12), 728–737. doi:10.1002/cem.1360
  • [3] Nørgaard, L., Saudland, A., Wagner, J., Nielsen, J.P., Munck, L., Engelsen, S.B. (2000). Interval Partial Least-Squares Regression (iPLS): A Comparative Chemometric Study with an Example from Near-Infrared Spectroscopy. Applied Spectroscopy, 54(3), 413–419. doi:10.1366/0003702001949500
  • [4] Leardi, R. (2000). Application of genetic algorithm–PLS for feature selection in spectral data sets. Journal of Chemometrics, 14(5–6), 643–655. doi:10.1002/1099-128X(200009/12)14:5/6<643::AID-CEM621>3.0.CO;2-E
  • [5] Centner, V., Massart, D.L., de Noord, O.E., de Jong, S., Vandeginste, B.M., Sterna, C. (1996). Elimination of Uninformative Variables for Multivariate Calibration. Analytical Chemistry, 68(21), 3851–3858. doi:10.1021/ac960321m
  • [6] Li, H., Liang, Y., Xu, Q., Cao, D. (2009). Key wavelengths screening using competitive adaptive reweighted sampling method for multivariate calibration. Analytica Chimica Acta, 648(1), 77–84. doi:10.1016/j.aca.2009.06.046
  • [7] Chong, I.-G., Jun, C.-H. (2005). Performance of some variable selection methods when multicollinearity is present. Chemometrics and Intelligent Laboratory Systems, 78(1–2), 103–112. doi:10.1016/j.chemolab.2004.12.011
  • [8] Westad, F., Martens, H. (2000). Variable Selection in near Infrared Spectroscopy Based on Significance Testing in Partial Least Squares Regression. Journal of Near Infrared Spectroscopy, 8(2), 117–124. doi:10.1255/jnirs.271
  • [9] Jouan-Rimbaud, D., Massart, D.L., de Noord, O.E. (1996). Random correlation in variable selection for multivariate calibration with a genetic algorithm. Chemometrics and Intelligent Laboratory Systems, 35(2), 213–220. doi:10.1016/S0169-7439(96)00062-7
  • [10] Fernández Pierna, J.A., Abbas, O., Baeten, V., Dardenne, P. (2009). A Backward Variable Selection method for PLS regression (BVSPLS). Analytica Chimica Acta, 642(1–2), 89–93. doi:10.1016/j.aca.2008.12.002
  • [11] ISO 12099:2017. Animal feeding stuffs, cereals and milled cereal products — Guidelines for the application of near infrared spectrometry. ISO, Geneva. iso.org/standard/67352.html
USTECH Innovations Logo

Evalúe esta aplicación para su proceso

Nuestro equipo de aplicaciones puede explicar el método, compartir la bibliografía de referencia y analizar con usted cómo se aplica a su proceso.

Contáctenos

Leer siguiente

Comprender el filtrado Savitzky-Golay en el preprocesamiento
GUÍA

Comprender el filtrado Savitzky-Golay en el preprocesamiento

Qué hace realmente el filtro de Savitzky-Golay con un espectro, por qué las derivadas eliminan las líneas base y cómo deben elegirse el ancho de ventana y el grado del polinomio, con la literatura original y la posterior.

Leer la guía
Introducción a la regresión PLS en la suite caliX
GUÍA

Introducción a la regresión PLS en caliX Suite

Un recorrido práctico por una calibración PLS: cómo se dividen los datos, cómo se eligen mediante validación el pretratamiento y el número de variables latentes, qué diagnósticos hay que leer y cómo se mantiene vivo el modelo en producción.

Leer la guía