预处理在化学计量学中的作用
近红外 (NIR) 光谱，特别是化学和药物光谱，非常复杂，通常具有重叠吸收带、基线偏移和高频噪声的特征。在拟合定量校准模型（如 PLS 回归）之前，化学计量学家必须预处理原始光谱数据。目标是消除物理伪影（例如不同粒径的散射或光路长度变化引起的基线偏移），同时保留感兴趣的化学信号。
在预处理工具库中的工具中，Savitzky-Golay (SG) 算法是平滑和微分的行业标准。它由 Abraham Savitzky 和 Marcel J. E. Golay 于 1964 年开发，至今仍然是现代化学计量数据管道的基础。
“与模糊光谱特征的标准移动平均滤波器不同，Savitzky-Golay 滤波通过将局部低次多项式拟合到数据来保留峰值高度、宽度和局部形状。”
Savitzky-Golay 算法的工作原理
核心概念是在频谱上滑动固定数量数据点（$w$，必须是奇数）的窗口。在每个步骤中，使用线性最小二乘法将 $k$ 次数的多项式（通常 $k = 2$ 或 $3$，表示二次或三次模型）拟合到窗口内的数据点。窗口中心点处的拟合多项式的值成为该波长的新的平滑值。
由于最小二乘拟合系数仅取决于窗口大小 $w$ 和多项式次数 $k$，因此可以将它们预先计算为固定权重（称为卷积）。这使得 SG 滤波器的计算速度极快，即使对于数千个长光谱也是如此。
导数和基线校正
Savitzky-Golay 方法最强大的功能之一是它能够在平滑过程中计算数值导数。导数在校正基线偏移和解决重叠峰方面非常有效：
- 一阶导数（SG 1st）：删除恒定的基线偏移（沿 Y 轴移动）并突出显示斜率的变化。
- 二阶导数（SG 2nd）：消除线性基线漂移（沿频谱的斜率）并隔离重叠特征。在二阶导数光谱中，吸收峰显示为向下的波谷，使它们更容易识别。
参数选择指南
设置正确的参数对于防止平滑不足（保留噪声）或过度平滑（破坏真实峰值分辨率）至关重要。下表概述了基于光谱仪分辨率的标准建议：
| 参数设置 | 窗口大小（$w$） | 多项式阶数 ($k$) | 推荐应用 |
|---|---|---|---|
| 温和平滑 | 5或7分 | 2（二次） | 高分辨率气相NIR，低噪音系统 |
| 标准基线校正 | 15分 | 2（二次，一阶导数） | 典型的液体化学过程，粉末中的水分 |
| 深深的分离 | 25分 | 3（三次，二阶导数） | 高度异质固体（饲料粉、饲料作物） |
在 caliX 套件中实施 SG
在caliX套件软件预处理管道中，SG 算法在 AutoML 模型验证期间自动应用。用户可以在预处理编辑器中配置窗口大小和导数阶数，并在测试不同设置时实时观察交叉验证错误 (RMSECV) 更新。这种交互式反馈循环可确保您选择能够最大限度提高模型精度和单位间可转移性的数学预处理参数。
参考
- Savitzky, A. 和 Golay, M. J. E. (1964)。 “通过简化的最小二乘法对数据进行平滑和微分”分析化学，36（8），1627-1639。
- “使用多项式导数在 NIR 光谱中进行波长选择和噪声过滤”化学计量学和智能实验室系统，2019。
- “工业过程光谱仪的基线校正协议”应用光谱学评论，2021 年。
