caliX 套件中的 PLS 回归简介

什么是 PLS 定标，为何每一步都需要验证

偏最小二乘回归通过少量潜变量将光谱矩阵 X 与参考值 Y 联系起来，它之所以在近红外定标中占有一席之地，是因为它能够处理大量含噪声、共线甚至不完整的变量 [1]。Geladi 和 Kowalski 的教程阐明了普通回归在此类数据上失效之处，将 PLS 作为解决方案加以发展，并给出了算法及实际使用提示 [2]。方法本身在配套文章 NIR 定标如何工作：PLS 详解 中已有说明；本指南讨论的是实践者在建立定标过程中所做的决策。其中每一项 — 样品如何划分、采用何种预处理、保留多少潜变量、剔除哪些样品 — 都会改变性能指标，Westad 和 Marini 表明，模型验证所处的层次既影响其报告的误差，也影响所选的维数 [3]。

划分数据

Snee 关于回归验证的综述得出结论：在难以收集新数据时，数据划分 — 用一部分数据估计模型，用其余部分衡量其预测准确度 — 是验证模型的有效方法；并建议在没有可作为划分依据的明显变量（如时间）时，采用 Kennard 的 DUPLEX 算法进行划分 [4]。与之相关的 Kennard–Stone 方法依次选取样本点，使每一步都均匀覆盖实验区域 [5]，因此被广泛用于挑选覆盖光谱空间的定标样品。纯随机划分并非天然可靠：Westad 和 Marini 警告说，只有在样品不存在系统性分层时，反复将数据集随机划分为定标集和测试集才是合理的；他们还区分了若干验证层次 — 重复性、再现性、仪器变异和原料变异 — 若要让误差估计对未来样品有所指示，划分就应遵循这些层次 [3]。

保留集的大小同样是一项决策，而非惯例。在一项基于整株玉米 NIR 光谱的 Monte Carlo 研究中，Martens 和 Dardenne 从包含 922 个样品的数据库中抽取 40 至 120 个样品组成的小型定标集，发现从本已很小的样品池中再留出独立测试集会降低预测性能，而完全交叉验证给出的预测更好，且只略微偏乐观 [6]。实际的解读是：当样品充足，或测试集确实代表一个较晚或不同的总体时，单独的测试集最有价值；样品较少时，交叉验证能更充分地利用它们 [3][6]。

选择预处理

Rinnan 等将常用的 NIR 预处理方法分为散射校正（MSC、SNV、归一化）和光谱导数两类，并在真实数据上比较了它们的效果 [7]；其原理分别见 MSC/SNV 指南 和 Savitzky-Golay 指南。就定标工作流程而言，要点在于程序：预处理设置是模型的超参数，因此候选的预处理流程应与潜变量数采用相同的验证设计进行比较，绝不能依据定标拟合结果。Wiklund 等指出，他们的成分选择检验同时也可作为数据需要预处理的指示，当原始光谱模型所需成分远多于导数模型时，这是一项有用的交叉核对 [8]。

潜变量数取多少

潜变量数是 PLS 中最重要的单项设置：过少会使化学信息得不到建模，过多则会拟合在新样品中不会重现的噪声 [1][2]。标准工具是交叉验证，其一般形式由 Stone 提出，用于预测变量的选择与评估 [9]；在 PLS 中，每次留出部分数据重新拟合模型，并将交叉验证误差对成分数作图 [1]。惯常的规则是在该曲线最小值处或其稍前处停止，但分段方式至关重要。Shao 证明，留一法交叉验证在选择预测能力最佳的模型时是渐近不一致的，而留出更大的观测块可以纠正这种不一致 [10]；在实践中，这意味着应优先采用分段或分组交叉验证，并将重复测量和同一批次的样品置于同一分段中，而不是逐条留出单个光谱。Wiklund 等提出了一种无需剔除任何数据的互补性随机化检验，在已知维数的模拟数据和十个真实数据集上，该检验与其他选择规则结合使用时效果良好 [8]。

解读诊断指标

每份模型报告中都会出现三个误差指标。定标误差（RMSEC）描述拟合程度，总是最小；交叉验证误差（RMSECV）估计定标总体内部的预测能力；独立集上的预测误差（RMSEP）是唯一检验模型从未见过的样品的指标，而该集合的验证层次决定了它的含义 [3]。ISO 12099 列出了性能测量的统计量，包括预测标准误差和偏差，并在其资料性附录中给出了异常值和控制图的示例 [11]。RMSECV 与 RMSEP 之间差距较大，或测试集上存在偏差，通常意味着测试样品与定标总体存在系统性差异，而不是模型本身有误 [3]。

样品诊断使整体情况趋于完整。Wold 等综述了标准的 PLS 诊断 — 得分、载荷、残差以及到模型的距离 — 用于找出在光谱空间中远离其他样品或拟合较差的样品 [1]。Hubert 和 Vanden Branden 指出，常用的 SIMPLS 算法建立在经验交叉协方差矩阵和普通最小二乘之上，因此其结果会受到异常观测的影响；他们提出了稳健变体，给出稳健的 RMSECV 和 RMSEP 值，以及用于可视化和分类异常值的诊断图 [12]。无论使用何种工具，只有在有书面记录的理由时才应从定标中剔除样品：参考值错误、属于其他物料的光谱或测量故障。以下三个习惯可确保诊断的可信度：

• 先确定验证设计。在进行任何预处理或成分扫描之前，先固定划分方式和交叉验证分段，并对每个候选方案采用相同的设计，以保证比较公平 [3]。
• 报告 RMSECV 和 RMSEP 时一并说明其验证层次。基于同一样品重复光谱估计的误差，与基于后续生产批次估计的误差不可相提并论 [3]。
• 将剔除异常值视为一项模型决策。记录剔除了哪些样品及其原因；残差或杠杆值标记是进行调查的提示，而不是删除的许可 [1][12]。

让模型持续有效

定标的验证仅针对其建立时所依据的样品总体和仪器状态。ASTM E1655 规定了红外定标数据采集和处理的规范，描述了定标技术和模型性能验证准则，假定分析仪在定标和验证时均在制造商规定的条件下运行，并提供了一份可据以审查多元定标的问卷 [13]。ISO 12099 补充了操作层面的内容：检查仪器稳定性，持续检查定标性能，并以控制图作为监控工具 [11]。Westad 和 Marini 强调，模型预测未来样品的稳健性比任何单项性能指标都更重要 [3]；在实践中，这意味着对生产样品进行例行参考核查，绘制偏差和预测误差的控制图，并在出现新原料、新季节或新工艺条件时有计划地更新定标集。

caliX 中的工作流程

caliX 套件 将上述步骤组织为面向 NIR、FTIR 和 Raman 光谱的八模块工作流程。数据模块从 Excel 或 CSV 文件导入光谱和参考值，并支持利用 PCA 和 PLS 杠杆值指标进行数据清理；预处理步骤提供 SNV、MSC、去趋势、自动标度和 Savitzky-Golay 导数 [7]；手动和自动回归模块建立 PLS、稳健 PLS、PCR 和正则化模型，潜变量最大数目和交叉验证折数由用户设定，自动模式则遍历各种预处理流程组合，并标出验证曲线的拐点 [1][10]。异常值诊断包括 Hotelling T² 和 Q 残差、PLS 杠杆值以及 Mahalanobis 距离 [12]；预测模块将完成的模型应用于未知样品；数据传递和模型转换模块负责仪器标准化，并导出模型以通过 ProChem 部署。对于特定产品，哪种划分方式、预处理和成分数是合适的，需要用您自己的样品和参考分析通过可行性研究来确定。