为什么每次预测都需要有效性检查
无论是运行在化工与制药行业在线分析仪上，还是运行在饲料厂台式仪器上，多元定标都是基于其训练样品的经验模型；Martens 和 Næs 将自动离群点检测列为此类定标必须具备的功能之一 [1]。ASTM E1655 规定，定标程序界定了测量有效的范围，并将离群点的处理视为合规定标的组成部分 [2]。对于日常运行，ASTM D6122 说得很明确：不能假定模型适用于某一样品，离群点检测用以证明定标适用于所测光谱；若该光谱为离群点，则分析仪结果无效，尽管该检验并不能说明原因在于样品、模型还是仪器 [3]。
马氏距离：顾及协方差的距离
Mahalanobis 于 1936 年提出的广义距离，以总体自身的方差和协方差为单位，衡量一个点偏离总体中心的程度 [4]。De Maesschalck、Jouan-Rimbaud 和 Massart 的教程解释了这一点对光谱的重要性：相邻波长高度相关，因此欧氏距离会把沿光谱主要变异方向的正常变化，与定标集从未出现过的方向上同等大小的变化完全等同看待，而马氏距离则按各方向的方差对其进行标度 [5]。由于 NIR 数据集全波长协方差矩阵无法可靠求逆，距离是在主成分或 PLS 得分空间中、基于模型实际使用的成分计算的，教程将这种情形与原始变量空间并列讨论 [5]。
Hotelling T²、杠杆值和 GH：同一个量的多种标度
Hotelling 于 1931 年将 Student 比推广到多个相关变量；他的 T² 是以协方差矩阵之逆加权的偏差向量，也就是换了个名称的马氏距离平方 [6]。Garrido-Varo、García-Olmo 和 Fearn 证明，马氏距离平方 D²、Hotelling T²、The Unscrambler 中的杠杆值 L 以及 WinISI 中的 GH 距离之间存在关系 D² = T² ≈ L·n ≈ GH·k，其中 n 和 k 分别为定义该距离的数据中的样品数和变量数；因此，在软件包之间照搬而不作这种换算的阈值，会相差一个依赖于数据的因子 [7]。GH 标度源自 Shenk 和 Westerhaus，他们以距总体均值 3.0 的标准化距离作为剔除光谱离群点的界限，而在其研究中，样品间 0.6 的最小邻域距离即可得到足够的定标集 [8]。
Q 残差：模型未能解释的部分
得分空间中的距离只回答样品在模型已知方向上是否极端。一条光谱可能落在这些限值之内，却仍包含模型从未见过的结构，例如来自污染物的谱带或仪器伪影。Jackson 和 Mudholkar 为此提出了针对主成分模型残差的检验，即观测值与其用少于全部成分重构的结果之差，适用于单个观测向量和一组观测，目的是用于质量控制中的离群点检测 [9]。残差平方和即 Q 统计量或预测误差平方（SPE）；Jackson 的专著将 Q 与 T² 一并论述 [10]。Nomikos 和 MacGregor 基于这两个统计量建立了多元控制图，其控制限由以往成功批次的历史参考分布得出 [11]。二者互为补充：被 T² 标记的样品在定标所涵盖的方向上异常，被 Q 标记的样品则偏离模型平面，只有后者能揭示新的干扰物 [9][10]。
设定限值：F 分布、Beta 分布与卡方分布
T² 的限值取决于被检验样品是否属于定义该距离的数据。Tracy、Young 和 Mason 指出，在启动阶段仅有单个观测值时，通常使用的近似 F 限和卡方限偏于保守，并为此推导出基于 Beta 分布的精确限值 [12]。在定标项目中，这正是筛查定标样品本身与用冻结模型评判新的过程光谱之间的区别，后者适用基于 F 分布的限值 [12]。对于 Q，Jackson 和 Mudholkar 推导的近似分布可给出选定显著性水平下的限值 [9]。定标阶段还存在另一种风险：Rousseeuw 和 van Zomeren 表明，经典均值和协方差本身会被其要检测的离群点所扭曲，致使多个离群点相互掩盖，因此他们提出基于位置和协方差稳健估计计算距离 [13]。由此得出三点：
- 用正确的限值清理定标集：采用基于 Beta 分布的 T² 限值或稳健距离，因为在这一阶段 F 近似偏于保守，而经典协方差可能被多个离群点掩盖 [12][13]。
- 在日常预测中同时使用 T² 和 Q，并在定标光谱高度聚集时，增加 D6122 推荐的可选最近邻检验 [3][9]。
- 记录限值所对应的统计量和标度，因为 GH、杠杆值和 T² 之间相差 n 和 k 的因子 [7]。
caliX 和 ProChem 中的离群点统计量
caliX 软件套件的离群点检测方法包括 Hotelling T² 与 Q 残差、PLS 杠杆值和马氏距离，并提供用于清理定标集的 GH/NH 截断值；ProChem 在 USTECH 分析仪上运行导出的模型，并通过仪表板和报警将其与 PLC 或 SCADA 系统相连，从而使超出定标空间的光谱被标记出来，而不是被悄无声息地转换为一个数值。哪些限值适合特定产品和仪器，需通过使用您自己样品的可行性研究来确定。
参考文献
- [1] Martens, H., Næs, T. (1989). Multivariate Calibration. John Wiley & Sons, Chichester. wiley.com/en-us/Multivariate+Calibration-p-9780471930471
- [2] ASTM E1655-17(2024). Standard Practices for Infrared Multivariate Quantitative Analysis. ASTM International, West Conshohocken, PA. store.astm.org/e1655-17r24.html
- [3] ASTM D6122-25. Standard Practice for Validation of the Performance of Multivariate Online, At-Line, Field and Laboratory Infrared Spectrophotometer, and Raman Spectrometer Based Analyzer Systems. ASTM International, West Conshohocken, PA. store.astm.org/d6122-25.html
- [4] Mahalanobis, P.C. (2018). Reprint of: Mahalanobis, P.C. (1936) “On the generalised distance in statistics.” Sankhya A, 80(S1), 1–7; originally Proceedings of the National Institute of Sciences of India, 2(1), 49–55. doi:10.1007/s13171-019-00164-5
- [5] De Maesschalck, R., Jouan-Rimbaud, D., Massart, D.L. (2000). The Mahalanobis distance. Chemometrics and Intelligent Laboratory Systems, 50(1), 1–18. doi:10.1016/S0169-7439(99)00047-7
- [6] Hotelling, H. (1931). The generalization of Student’s ratio. The Annals of Mathematical Statistics, 2(3), 360–378. doi:10.1214/aoms/1177732979
- [7] Garrido-Varo, A., García-Olmo, J., Fearn, T. (2019). A note on Mahalanobis and related distance measures in WinISI and The Unscrambler. Journal of Near Infrared Spectroscopy, 27(4), 253–258. doi:10.1177/0967033519848296
- [8] Shenk, J.S., Westerhaus, M.O. (1991). Population definition, sample selection, and calibration procedures for near infrared reflectance spectroscopy. Crop Science, 31(2), 469–474. doi:10.2135/cropsci1991.0011183X003100020049x
- [9] Jackson, J.E., Mudholkar, G.S. (1979). Control procedures for residuals associated with principal component analysis. Technometrics, 21(3), 341–349. doi:10.1080/00401706.1979.10489779
- [10] Jackson, J.E. (1991). A User’s Guide to Principal Components. John Wiley & Sons, New York. doi:10.1002/0471725331
- [11] Nomikos, P., MacGregor, J.F. (1995). Multivariate SPC charts for monitoring batch processes. Technometrics, 37(1), 41–59. doi:10.1080/00401706.1995.10485888
- [12] Tracy, N.D., Young, J.C., Mason, R.L. (1992). Multivariate control charts for individual observations. Journal of Quality Technology, 24(2), 88–95. doi:10.1080/00224065.1992.12015232
- [13] Rousseeuw, P.J., van Zomeren, B.C. (1990). Unmasking multivariate outliers and leverage points. Journal of the American Statistical Association, 85(411), 633–639. doi:10.1080/01621459.1990.10474920
