← 返回所有博客与技术文章 PLS Regression Chemometrics Visualization

NIR 校准如何工作:PLS 解释

以通俗语言解释偏最小二乘(PLS)回归如何将近红外光谱转换为组成数值——该方法为何是多元的、什么是潜变量、应使用多少个因子、定标如何验证,以及参考方法为何限制了可证明的结果——依据化学计量学文献和相关标准。

光谱为何需要定标

近红外光谱仪记录许多波长处的吸光度,但没有哪一个波长专属于蛋白质、脂肪或水分:这些测量是非选择性的,关于某一组分的信息分散在众多通道中。多元定标是一类通过同时组合许多通道、从此类非选择性数据中提取定量信息的方法,它还能够将异常样品标记为离群值[1]。ASTM E1655 规定了近红外(约 780 至 2500 nm)和中红外区域红外光谱仪多元定标的规程,包括验证定标性能的准则[2]。本指南不借助公式,说明偏最小二乘(PLS)回归——标准定标著作的核心方法[1][3]——如何在食品与饲料行业等应用中发挥作用,以及如何评价其性能。

PLS 做了什么:潜变量

直观的做法——对每个波长进行普通多元线性回归——行不通,因为光谱中的变量远多于定标样品数,而且相邻波长之间高度相关。Geladi 和 Kowalski 的教程阐述了常规回归方法的这些不足,并将 PLS 作为解决途径加以介绍[4]。Wold 等将 PLS 回归描述为一种线性模型,它在将光谱矩阵 X 与参考值 Y 相关联的同时,也对 X 内部的结构进行建模,并将其实用性归因于能够处理大量含噪声、共线甚至不完整的变量[5]。

实际上,PLS 将每条光谱压缩为少数几个潜变量(也称因子或成分)上的得分。每个潜变量都是全部波长的加权组合,其选取原则是描述同时与参考值相关的系统性光谱变异;随后由这几个得分而不是数百个原始吸光度来预测组成[4][5]。Haaland 和 Thomas 阐明了 PLS 与经典最小二乘、逆最小二乘及主成分回归之间的关系,并指出可从该算法的中间步骤读取具有化学可解释性的光谱信息,且比主成分回归更为直接[6]。

需要多少个因子?

每增加一个因子,模型对自身定标样品的拟合就更紧密一些,但超过某一点后,多出的因子描述的是噪声和样品特有的细节,而非化学信息。Gowen 等总结了其后果:潜变量过少导致欠拟合,过多导致过拟合,二者都会使模型在未来样品上表现不佳;过拟合的一个公认迹象是回归向量噪声大、出现尖锐振荡的峰[7]。因此,因子数应依据未参与模型拟合的样品上的预测误差来选择,采用交叉验证或独立测试集,并结合对回归系数的检查[1][7]。Haaland 和 Thomas 早已描述了选择最优因子数以限制对定标数据过拟合的程序[6]。

定标、验证与误差统计量

通常报告三种均方根误差[3]。RMSEC 是定标样品自身的误差,总是偏于乐观。RMSECV 来自交叉验证,即每个样品(或样品段)由不含该样品所建的模型进行预测。RMSEP 是在一组未参与建模的独立验证样品上的误差,是对常规使用中性能的最佳估计。ISO 12099 是饲料和谷物 NIR 分析的指南,其中分别设有关于定标与初始验证以及性能测量统计量的条款,包括偏差、预测标准误差(SEP)和斜率[8]。Westad 和 Marini 提醒,只有当样品中不存在系统性结构时,将一个数据集随机拆分为定标部分和测试部分才是合理的;当验证涵盖重复性、再现性、仪器及原料变异时,误差数值和因子数都可能发生变化[9]。由此得出三点实际结论:

  • 用真正的新样品进行验证。测试样品应来自与定标集不同的批次、季节或供应商,使验证能反映分析仪在使用中将遇到的变异[9]。
  • 不要超出定标范围。定标程序界定了预测有效的范围;超出该范围或被标记为光谱离群的样品,不应作为正常结果报告[1][2]。
  • 不要凭单一指标评判模型。RPD(参考值标准偏差除以预测误差)等汇总比值被广泛使用,但 Esbensen 等批评将其盲目当作衡量定标质量的万能指标[10]。

参考方法设定了下限

定标是以实验室参考方法的数值进行训练和检验的,而这些数值本身带有误差。Faber 和 Kowalski 指出,以实测参考值估算的预测误差是一种表观误差,系统性地大于真实预测误差,因为参考测量的随机误差是任何模型都无法预测的,却被错误地计为定标的不足[11]。这种关系比“NIR 永远不可能优于参考方法”这一说法更为微妙:DiFoggio 将该说法列为关于 NIR 分析的常见误解之一,并给出了反例[12]。其实际含义是:所报告的 RMSEP 无法令人信服地低于参考实验室的重复性,因此了解这一重复性是解读任何验证结果的一部分[11][12]。

USTECH 的定标做法

ProLine2550 和 MasterLine17EC 等 USTECH 分析仪的 PLS 模型在化学计量学软件 caliX 中开发,并通过 ProChem 部署到生产过程。光谱预处理见MSC 与 SNV和Savitzky-Golay 滤波两篇指南,软件工作流程见caliX 中的 PLS 回归。验证遵循上述原则,采用独立样品以及 ISO 12099 和 ASTM E1655 所定义的统计量[2][8]。某一参数能否达到工艺所需的准确度,需通过使用贵方样品和参考分析的可行性研究来确定。

参考文献

  • [1] Martens, H., Næs, T. (1989). Multivariate Calibration. John Wiley & Sons, Chichester (paperback edition 1992, ISBN 978-0-471-93047-1). wiley.com
  • [2] ASTM E1655-17(2024). Standard Practices for Infrared Multivariate Quantitative Analysis. ASTM International, West Conshohocken, PA. store.astm.org/e1655-17r24.html
  • [3] Næs, T., Isaksson, T., Fearn, T., Davies, T. (2017). A User-Friendly Guide to Multivariate Calibration and Classification, 2nd edition. IM Publications Open, Chichester. doi:10.1255/978-1-906715-25-0
  • [4] Geladi, P., Kowalski, B.R. (1986). Partial least-squares regression: a tutorial. Analytica Chimica Acta, 185, 1–17. doi:10.1016/0003-2670(86)80028-9
  • [5] Wold, S., Sjöström, M., Eriksson, L. (2001). PLS-regression: a basic tool of chemometrics. Chemometrics and Intelligent Laboratory Systems, 58(2), 109–130. doi:10.1016/S0169-7439(01)00155-1
  • [6] Haaland, D.M., Thomas, E.V. (1988). Partial least-squares methods for spectral analyses. 1. Relation to other quantitative calibration methods and the extraction of qualitative information. Analytical Chemistry, 60(11), 1193–1202. doi:10.1021/ac00162a020
  • [7] Gowen, A.A., Downey, G., Esquerre, C., O’Donnell, C.P. (2011). Preventing over-fitting in PLS calibration models of near-infrared (NIR) spectroscopy data using regression coefficients. Journal of Chemometrics, 25(7), 375–381. doi:10.1002/cem.1349
  • [8] ISO 12099:2017. Animal feeding stuffs, cereals and milled cereal products — Guidelines for the application of near infrared spectrometry. ISO, Geneva. iso.org/standard/67352.html
  • [9] Westad, F., Marini, F. (2015). Validation of chemometric models – A tutorial. Analytica Chimica Acta, 893, 14–24. doi:10.1016/j.aca.2015.06.056
  • [10] Esbensen, K.H., Geladi, P., Larsen, A. (2014). The RPD myth… NIR news, 25(5), 24–28. doi:10.1255/nirn.1462
  • [11] Faber, K., Kowalski, B.R. (1997). Improved prediction error estimates for multivariate calibration by correcting for the measurement error in the reference values. Applied Spectroscopy, 51(5), 660–665. doi:10.1366/0003702971941061
  • [12] DiFoggio, R. (1995). Examination of some misconceptions about near-infrared analysis. Applied Spectroscopy, 49(1), 67–75. doi:10.1366/0003702953963247
USTECH Innovations Logo

针对您的工艺评估此应用

我们的应用团队可以讲解方法、提供相关参考文献,并与您探讨如何将其应用于您的工艺。

联系我们

阅读下一步

PLS Regression in caliX
指南

caliX 套件 PLS 回归简介

从实践者角度逐步讲解 PLS 定标:如何划分数据,如何通过验证选择预处理和潜变量数,应解读哪些诊断指标,以及如何让模型在生产中持续有效。

阅读指南
什么是 NIR 光谱?
指南

什么是 NIR 光谱?

近红外光谱入门:什么是 NIR 光,它在何处被发现,倍频和合频谱带揭示了什么,为什么定标必不可少,以及该技术的局限在哪里。

阅读指南