Spectroscopic wavelength selection algorithm display

指南 — 2026年8月19日 — 4 分钟阅读

NIR 光谱模型的波长选择和特征工程

为何将近红外定标限定在选定的波长或区间上可以使其更准确、更易于解释，主要选择方法如何运作，以及为何必须对选择本身进行验证——依据各方法的原始论文和已发表的综述。

为何要选择波长

近红外光谱在数百个等间隔波长处记录，而在食品与饲料及流程工业中，可用于定标的参考样品数量通常要少得多。Zou Xiaobo 等在综述中指出，如此大量的光谱变量常使因变量的预测不可靠，因此人们在识别携带有用信息的变量或剔除以噪声为主的变量的方法上投入了大量努力[1]。偏最小二乘（PLS）回归能够处理大量相关变量，但以噪声或无关吸收物为主的区域仍会进入模型。将其剔除可以提高预测能力，并更容易看清模型依赖光谱的哪些部分；但选择步骤也会带来新的过拟合途径，这正是 Andersen 和 Bro 在其教程中着重讨论如何在实践中运用变量选择并避免最常见陷阱的原因[2]。

区间方法：iPLS

区间偏最小二乘（iPLS）由 Nørgaard 等提出，它将光谱划分为若干区间，在每个区间上建立局部 PLS 模型，并以图形方式将各局部模型与全光谱模型进行比较[3]。在一个包含 60 个啤酒样品、与原麦汁浸出物浓度相关联的 NIR 数据集上，最佳 iPLS 模型将全光谱模型的预测误差降低到四分之一，作者强调图形输出有助于解释模型背后的化学体系[3]。由于 iPLS 保留的是连续的波长块而非孤立的点，所选区域与吸收谱带的形状相吻合；在同一研究中，所选区间涵盖了前向逐步选择法以及另外两种选择方法所找到的变量[3]。

搜索与排序方法

另有几类方法也很常用；Zou Xiaobo 等以及 Andersen 和 Bro 的综述对其有更详细的介绍[1][2]。

遗传算法（GA-PLS）：将候选波长子集编码为二进制字符串，通过选择、交叉和变异进行进化，以交叉验证的 PLS 误差作为适应度准则。Leardi 表明，经过适当改进后，GA-PLS 选出的变量往往构成界限清晰的光谱区域，而非散布于整个光谱的单个变量，所得模型的预测能力优于全光谱模型[4]。
无信息变量消除（UVE）：Centner 等在数据中加入人工噪声变量，并依据 PLS 回归系数剔除所有重要性不高于噪声变量的实验变量[5]。
竞争性自适应重加权采样（CARS）：Li 等在多次重复的蒙特卡罗（Monte Carlo）子采样中，按 PLS 回归系数的绝对值对波长进行排序，逐步缩减变量集，并保留交叉验证误差最低的子集[6]。
变量投影重要性（VIP）：一种概括每个变量对 PLS 模型贡献的得分。Chong 和 Jun 在含相关预测变量的模拟中将结合 VIP 的 PLS 与 lasso 和逐步回归进行了比较，并讨论了 VIP 阈值应如何选取[7]。
刀切法（jackknife）显著性检验：Westad 和 Martens 利用交叉验证的子模型检验每个回归系数的显著性，仅保留显著变量；在啤酒的 NIR 光谱上，该方法的表现与所测试的其他选择方法相当或更优，且对交叉验证方案具有稳健性[8]。

过度选择的风险

每种选择方法都要在数量极其庞大的可能子集中进行搜索，比较的子集越多，其中某一子集偶然拟合定标数据的可能性就越大。Jouan-Rimbaud 等在 NIR 数据中加入随机变量对此进行了检验，发现即使采用了严谨的验证程序，遗传算法仍可能选中无关变量；对 GA 子集再施以前向选择可减轻这一影响[9]。其实际后果是，用于选择变量的误差并不是对未来性能的真实估计。因此，Fernández Pierna 等在其后向选择方法中以独立测试集上的预测均方根误差作为准则，并报告所选模型在使用更少变量的同时，改进了或至少保持了全光谱 PLS 的预测性能[10]。从这些文献中可以得出三项预防措施[2][9][10]：

将测试集置于选择循环之外。用于选择波长或区间的样品，不得同时用于评判最终模型。
与全光谱模型进行比较。只有当选择能提高独立样品上的预测效果，或以更简单、更易解释的模型达到同等效果时，才值得保留。
核对化学依据。若所选区域无法与被测物或基质的吸收谱带相联系，就值得怀疑，尤其是在定标集较小的情况下。

USTECH 的波长选择做法

在 caliX 套件中，借助 PLS 回归、光谱预处理和模型验证工具，在未参与选择的样品上将受限波长范围与全光谱模型进行比较，正如上述文献所建议的[2][10]。对于特定产品和分析仪，受限范围是否合理由验证结果而非选择方法本身决定，并需按照 ISO 12099，通过使用贵方样品和参考分析的可行性研究来确定[11]。

参考文献

[1] Xiaobo, Z., Jiewen, Z., Povey, M.J.W., Holmes, M., Hanpin, M. (2010). Variables selection methods in near-infrared spectroscopy. Analytica Chimica Acta, 667(1–2), 14–32. doi:10.1016/j.aca.2010.03.048
[2] Andersen, C.M., Bro, R. (2010). Variable selection in regression — a tutorial. Journal of Chemometrics, 24(11–12), 728–737. doi:10.1002/cem.1360
[3] Nørgaard, L., Saudland, A., Wagner, J., Nielsen, J.P., Munck, L., Engelsen, S.B. (2000). Interval Partial Least-Squares Regression (iPLS): A Comparative Chemometric Study with an Example from Near-Infrared Spectroscopy. Applied Spectroscopy, 54(3), 413–419. doi:10.1366/0003702001949500
[4] Leardi, R. (2000). Application of genetic algorithm–PLS for feature selection in spectral data sets. Journal of Chemometrics, 14(5–6), 643–655. doi:10.1002/1099-128X(200009/12)14:5/6<643::AID-CEM621>3.0.CO;2-E
[5] Centner, V., Massart, D.L., de Noord, O.E., de Jong, S., Vandeginste, B.M., Sterna, C. (1996). Elimination of Uninformative Variables for Multivariate Calibration. Analytical Chemistry, 68(21), 3851–3858. doi:10.1021/ac960321m
[6] Li, H., Liang, Y., Xu, Q., Cao, D. (2009). Key wavelengths screening using competitive adaptive reweighted sampling method for multivariate calibration. Analytica Chimica Acta, 648(1), 77–84. doi:10.1016/j.aca.2009.06.046
[7] Chong, I.-G., Jun, C.-H. (2005). Performance of some variable selection methods when multicollinearity is present. Chemometrics and Intelligent Laboratory Systems, 78(1–2), 103–112. doi:10.1016/j.chemolab.2004.12.011
[8] Westad, F., Martens, H. (2000). Variable Selection in near Infrared Spectroscopy Based on Significance Testing in Partial Least Squares Regression. Journal of Near Infrared Spectroscopy, 8(2), 117–124. doi:10.1255/jnirs.271
[9] Jouan-Rimbaud, D., Massart, D.L., de Noord, O.E. (1996). Random correlation in variable selection for multivariate calibration with a genetic algorithm. Chemometrics and Intelligent Laboratory Systems, 35(2), 213–220. doi:10.1016/S0169-7439(96)00062-7
[10] Fernández Pierna, J.A., Abbas, O., Baeten, V., Dardenne, P. (2009). A Backward Variable Selection method for PLS regression (BVSPLS). Analytica Chimica Acta, 642(1–2), 89–93. doi:10.1016/j.aca.2008.12.002
[11] ISO 12099:2017. Animal feeding stuffs, cereals and milled cereal products — Guidelines for the application of near infrared spectrometry. ISO, Geneva. iso.org/standard/67352.html

针对您的工艺评估此应用

我们的应用团队可以讲解方法、提供相关参考文献，并与您探讨如何将其应用于您的工艺。

联系我们

阅读下一步

指南

了解预处理中的 Savitzky-Golay 过滤

Savitzky-Golay 滤波对光谱究竟做了什么，导数为何能消除基线，窗口宽度和多项式阶数应如何选择，并附原始文献与后续文献。

阅读指南

指南

caliX 套件 PLS 回归简介

从实践者角度逐步讲解 PLS 定标：如何划分数据，如何通过验证选择预处理和潜变量数，应解读哪些诊断指标，以及如何让模型在生产中持续有效。

阅读指南