异常值检测在光谱学中的作用
在活跃的生产线上部署定量校准模型（通过偏最小二乘法或 PLS 回归构建）时，系统依赖于扫描样本与校准数据库相似的假设。如果扫描的样品含有意外污染物、表现出极端的温度变化或具有完全不同的原材料基质，则模型将输出预测。然而，该预测在数学上是无效的。
为了防止错误的预测将损坏的数据写入 SCADA 系统，过程光谱仪必须在输出预测之前评估每个扫描光谱是否是“多元异常值”。这是通过将样本光谱投影到校准模型的多维空间并计算统计距离限制来实现的。
“异常值检测充当过程分析仪的免疫系统。它保证仅当样本与校准空间匹配时才输出预测。”
马哈拉诺比斯距离：测量协方差
简单欧几里德距离测量样本光谱与校准平均值之间的直线距离。然而，欧几里得距离在化学计量学中失败，因为它忽略了 NIR 光谱中相邻波长之间的强相关性（协方差）。
马哈拉诺比斯距离 (MD) 通过按校准数据集的协方差矩阵缩放距离来解决此问题。实际上，MD 考虑了方差的方向，对高正态校准方差方向的变化分配较小的权重，对校准数据紧密结合的方向的偏差分配较高的权重。
Hotelling 的 T²：置信阈值
虽然马哈拉诺比斯距离提供了原始距离值，但我们需要一个统计上合理的阈值来标记异常值。 Hotelling 的 T² 对主成分 (PC) 投影空间中的马哈拉诺比斯距离进行归一化，计算多元分数。由于 T² 遵循 F 分布，我们可以建立正式的统计置信限（通常为 95% 或 99%）：
| 范围 | 马哈拉诺比斯距离 (MD) | 霍特林 T² |
|---|---|---|
| 数学焦点 | 测量原始或协方差尺度波长空间中的广义距离。 | 测量主成分空间内的分数距离（PC 分数）。 |
| 协方差缩放 | 按全波长协方差矩阵缩放。 | 按个人 PC 分数的方差进行缩放。 |
| 阈值限制 | 启发式或卡方 ($\chi^2$) 分布。 | 严格的 F 分布置信区间（$1-\alpha$，其中 $\alpha = 0.05$ 或 $0.01$）。 |
| 最佳用例 | 标记不良原材料、仪器漂移或硬件故障。 | 验证类成员身份并标记模型空间外部的样本。 |
在 caliX 套件中设置离群值限制
要在校准中实施异常值限制，请按照 caliX 套件 中的以下步骤操作：
- 编译 PCA/PLS 分数：打开校准文件并计算主成分加载向量。
- 设置置信区间：导航到离群值选项卡并选择“Hotelling T²”。为关键控制点选择 99% 置信阈值 ($\alpha = 0.01$)，或为常规监控选择 95% ($\alpha = 0.05$)。
- 启用 ProChem 警报：将模型同步到过程光谱仪。在 ProChem 中，将异常值标志输出映射到 PLC 寄存器，以在触发异常值时保存最后的有效预测。
结论
使用马哈拉诺比斯距离和 Hotelling 的 T² 部署强大的异常值检测可确保过程分析仪的完整性。通过识别和隔离异常光谱，制造商可以防止校准失败并确保自动化过程循环。
参考
- ASTM E1655 -红外多元定量分析的标准实践.
- Hotelling, H.，“学生比例的概括”，数理统计年鉴，1931。
- Martens，H. 和 N-s，T.，多变量校准，约翰·威利父子公司，1989 年。
