Por qué se preprocesan los espectros
Los espectros de infrarrojo cercano de muestras de proceso contienen, además de la señal de absorción química, efectos físicos que varían de una muestra a otra: dispersión de la luz dependiente del tamaño de partícula y del empaquetamiento, desplazamientos aditivos de la línea base y cambios multiplicativos de la longitud de paso efectiva [1]. En las medidas de reflectancia difusa estos efectos dominan la varianza espectral [2], de modo que, antes de ajustar un modelo cuantitativo como la regresión PLS, se aplica un preprocesamiento para eliminarlos conservando la información química. Rinnan et al. dividen los métodos habituales de preprocesamiento NIR en dos familias, las correcciones de dispersión (MSC, SNV, normalización) y las derivadas espectrales, y señalan que la derivada de Savitzky-Golay es una de las más utilizadas entre estas últimas [1].
Qué hace el filtro de Savitzky-Golay
Savitzky y Golay demostraron en 1964 que ajustar por mínimos cuadrados un polinomio de grado bajo a los puntos contenidos en una ventana móvil y tomar el valor de ese polinomio en el centro de la ventana equivale a convolucionar los datos con un conjunto fijo de pesos enteros; tabularon esos pesos para ventanas de 5 a 25 puntos y para polinomios cuadráticos/cúbicos y cuárticos/quínticos, tanto para el suavizado como para las derivadas [3]. Los errores de algunas de las tablas originales se corrigieron en trabajos posteriores [4][5], y Gorry propuso un método general para calcular los pesos en cualquier posición de la ventana, que además resuelve la pérdida de los primeros y últimos puntos en los extremos de un espectro [6].
De ello se derivan dos consecuencias. En primer lugar, como los pesos dependen únicamente del ancho de ventana y del grado del polinomio, el filtro es una operación fija de respuesta finita al impulso y resulta barato de aplicar [3][7]. En segundo lugar, frente a una media móvil de la misma longitud, un filtro de Savitzky-Golay conserva mejor la altura y la anchura de los picos, a costa de una supresión del ruido algo menor [7]. En la formulación clásica la ventana tiene un número impar de puntos, 2m + 1, de modo que queda centrada en el punto que se estima, y los datos deben estar equiespaciados [3].
Derivadas, líneas base y bandas solapadas
El mismo ajuste por mínimos cuadrados proporciona las derivadas del espectro: la primera y la segunda derivada del polinomio ajustado en el centro de la ventana son de nuevo convoluciones con pesos fijos [3]. Las derivadas se utilizan por lo que eliminan y por lo que revelan [1]:
- Primera derivada: elimina un desplazamiento constante (aditivo) de la línea base y muestra la pendiente local del espectro.
- Segunda derivada: elimina tanto el desplazamiento constante como una pendiente lineal de la línea base; los máximos de absorción aparecen como bandas negativas, lo que ayuda a separar rasgos solapados [1][8].
La derivación amplifica el ruido de alta frecuencia, razón por la cual la derivada se calcula junto con el suavizado en un solo paso y por la cual importa el ancho de ventana. Luo et al. muestran que el contraste y la resolución obtenibles con un derivador de Savitzky-Golay dependen de la relación entre la anchura del rasgo y la longitud del filtro, y que los filtros largos no conservan bien los detalles pequeños de la derivada [9].
Elección del ancho de ventana y del grado del polinomio
No existe un ajuste universal. Zimmermann y Kohler, trabajando con modelos PLS sobre datos infrarrojos simulados y medidos, encontraron que la ventana óptima depende del componente que se cuantifica, que el nivel de ruido espectral ofrece una orientación aproximada sobre el ancho de ventana y que tanto la ventana como el grado del polinomio deben optimizarse para cada aplicación en lugar de copiarse de un valor por defecto [8]. Un procedimiento práctico consiste, por tanto, en tratar el ancho de ventana, el grado del polinomio y el orden de la derivada como hiperparámetros del modelo, comparar los ajustes candidatos por su error de validación cruzada y comprobar que la derivada elegida no borra las bandas estrechas de las que depende el modelo [8][9]. Téngase en cuenta que, para el suavizado y para las derivadas de orden par, un polinomio cuadrático y uno cúbico dan pesos de Savitzky-Golay idénticos, por lo que un ajuste «cúbico» no aporta nada frente a «cuadrático» para una segunda derivada [3].
Savitzky-Golay en caliX
En el paquete caliX los filtros de suavizado y derivada de Savitzky-Golay se configuran en el paso de preprocesamiento del desarrollo del modelo, donde se fijan el ancho de ventana, el grado del polinomio y el orden de la derivada y se comparan los ajustes candidatos por su error de validación cruzada, siguiendo el enfoque descrito por Zimmermann y Kohler [8].
Referencias
- [1] Rinnan, Å., van den Berg, F., Engelsen, S.B. (2009). Review of the most common pre-processing techniques for near-infrared spectra. TrAC Trends in Analytical Chemistry, 28(10), 1201–1222. doi:10.1016/j.trac.2009.07.007
- [2] Barnes, R.J., Dhanoa, M.S., Lister, S.J. (1989). Standard Normal Variate Transformation and De-trending of Near-Infrared Diffuse Reflectance Spectra. Applied Spectroscopy, 43(5), 772–777. doi:10.1366/0003702894202201
- [3] Savitzky, A., Golay, M.J.E. (1964). Smoothing and Differentiation of Data by Simplified Least Squares Procedures. Analytical Chemistry, 36(8), 1627–1639. doi:10.1021/ac60214a047
- [4] Steinier, J., Termonia, Y., Deltour, J. (1972). Smoothing and differentiation of data by simplified least square procedure. Analytical Chemistry, 44(11), 1906–1909. doi:10.1021/ac60319a045
- [5] Madden, H.H. (1978). Comments on the Savitzky-Golay convolution method for least-squares-fit smoothing and differentiation of digital data. Analytical Chemistry, 50(9), 1383–1386. doi:10.1021/ac50031a048
- [6] Gorry, P.A. (1990). General least-squares smoothing and differentiation by the convolution (Savitzky-Golay) method. Analytical Chemistry, 62(6), 570–573. doi:10.1021/ac00205a007
- [7] Schafer, R.W. (2011). What Is a Savitzky-Golay Filter? [Lecture Notes]. IEEE Signal Processing Magazine, 28(4), 111–117. doi:10.1109/MSP.2011.941097
- [8] Zimmermann, B., Kohler, A. (2013). Optimizing Savitzky-Golay Parameters for Improving Spectral Resolution and Quantification in Infrared Spectroscopy. Applied Spectroscopy, 67(8), 892–902. doi:10.1366/12-06723
- [9] Luo, J., Ying, K., He, P., Bai, J. (2005). Properties of Savitzky–Golay digital differentiators. Digital Signal Processing, 15(2), 122–136. doi:10.1016/j.dsp.2004.09.008