光谱为何需要预处理
过程样品的近红外光谱在化学吸收信号之上还叠加着随样品而变的物理效应：取决于粒径和堆积状态的光散射、加性的基线偏移，以及有效光程长度的乘性变化 [1]。在漫反射测量中这些效应主导着光谱方差 [2]，因此在拟合 PLS 回归等定量模型之前，需要通过预处理在保留化学信息的同时将其去除。Rinnan 等人将常用的 NIR 预处理方法分为两类，即散射校正（MSC、SNV、归一化）和光谱导数，并指出 Savitzky-Golay 导数是后者中应用最广的方法之一 [1]。
Savitzky-Golay 滤波做了什么
Savitzky 与 Golay 于 1964 年表明，对移动窗口内的数据点用最小二乘法拟合低阶多项式并取该多项式在窗口中心的值，等价于用一组固定的整数权重对数据作卷积；他们为 5 至 25 点的窗口以及二次/三次和四次/五次多项式列出了平滑和求导两种用途的权重表 [3]。原始表格中的若干错误在后来的论文中得到更正 [4][5]，Gorry 则给出了计算窗口内每一位置处权重的通用方法，从而也解决了光谱两端首尾数据点丢失的问题 [6]。
由此得出两点结论。其一，由于权重只取决于窗口宽度和多项式阶数，该滤波器是一种固定的有限冲激响应运算，计算代价很低 [3][7]。其二，与同样长度的移动平均相比，Savitzky-Golay 滤波能更好地保留峰高和峰宽，代价是降噪能力略弱 [7]。在经典表述中，窗口包含奇数个点，即 2m + 1，使其以待估计的点为中心，且数据必须等间距 [3]。
导数、基线与重叠谱带
同一最小二乘拟合还能给出光谱的导数：拟合多项式在窗口中心的一阶和二阶导数同样是以固定权重进行的卷积 [3]。使用导数是因为它所去除的和所揭示的内容 [1]：
求导会放大高频噪声，因此导数与平滑在同一步骤中一起计算，窗口宽度也因此至关重要。Luo 等人表明，Savitzky-Golay 微分器可获得的对比度和分辨率取决于谱峰特征宽度与滤波器长度之比，长滤波器不能很好地保留导数中的细小细节 [9]。
窗口宽度与多项式阶数的选择
不存在通用的设置。Zimmermann 与 Kohler 在模拟和实测红外数据上使用 PLS 模型开展研究，发现最优窗口取决于所定量的组分，光谱噪声水平可为窗口宽度提供粗略参考，窗口和多项式阶数都应针对每个应用分别优化，而不是照搬默认值 [8]。因此，实用的做法是把窗口宽度、多项式阶数和导数阶数当作模型超参数，通过交叉验证误差比较候选设置，并检查所选导数不会抹去模型所依赖的窄谱带 [8][9]。需要注意，对于平滑和偶数阶导数，二次和三次多项式给出的 Savitzky-Golay 权重完全相同，因此对二阶导数而言，“三次”设置相比“二次”并无任何额外作用 [3]。
caliX 中的 Savitzky-Golay
在 caliX 软件套件中，Savitzky-Golay 平滑与导数滤波器在模型开发的预处理步骤中进行配置：在此设定窗口宽度、多项式阶数和导数阶数，并通过交叉验证误差比较候选设置，所遵循的即 Zimmermann 与 Kohler 所述的方法 [8]。
参考文献
- [1] Rinnan, Å., van den Berg, F., Engelsen, S.B. (2009). Review of the most common pre-processing techniques for near-infrared spectra. TrAC Trends in Analytical Chemistry, 28(10), 1201–1222. doi:10.1016/j.trac.2009.07.007
- [2] Barnes, R.J., Dhanoa, M.S., Lister, S.J. (1989). Standard Normal Variate Transformation and De-trending of Near-Infrared Diffuse Reflectance Spectra. Applied Spectroscopy, 43(5), 772–777. doi:10.1366/0003702894202201
- [3] Savitzky, A., Golay, M.J.E. (1964). Smoothing and Differentiation of Data by Simplified Least Squares Procedures. Analytical Chemistry, 36(8), 1627–1639. doi:10.1021/ac60214a047
- [4] Steinier, J., Termonia, Y., Deltour, J. (1972). Smoothing and differentiation of data by simplified least square procedure. Analytical Chemistry, 44(11), 1906–1909. doi:10.1021/ac60319a045
- [5] Madden, H.H. (1978). Comments on the Savitzky-Golay convolution method for least-squares-fit smoothing and differentiation of digital data. Analytical Chemistry, 50(9), 1383–1386. doi:10.1021/ac50031a048
- [6] Gorry, P.A. (1990). General least-squares smoothing and differentiation by the convolution (Savitzky-Golay) method. Analytical Chemistry, 62(6), 570–573. doi:10.1021/ac00205a007
- [7] Schafer, R.W. (2011). What Is a Savitzky-Golay Filter? [Lecture Notes]. IEEE Signal Processing Magazine, 28(4), 111–117. doi:10.1109/MSP.2011.941097
- [8] Zimmermann, B., Kohler, A. (2013). Optimizing Savitzky-Golay Parameters for Improving Spectral Resolution and Quantification in Infrared Spectroscopy. Applied Spectroscopy, 67(8), 892–902. doi:10.1366/12-06723
- [9] Luo, J., Ying, K., He, P., Bai, J. (2005). Properties of Savitzky–Golay digital differentiators. Digital Signal Processing, 15(2), 122–136. doi:10.1016/j.dsp.2004.09.008
