Correction de diffusion multiplicative et prétraitement variable normal standard

Pourquoi la correction de diffusion vient en premier

Les spectres NIR en réflexion diffuse des poudres, grains et farines de l'industrie de l'alimentation humaine et animale portent, en plus du signal d'absorption chimique, des effets physiques qui varient d'un échantillon à l'autre. Barnes et al. décrivent les effets multiplicatifs combinés de la granulométrie et de la diffusion de la lumière comme le principal obstacle à l'interprétation de ces spectres, et notent que la granulométrie explique l'essentiel de la variance spectrale alors que la composition chimique y contribue relativement peu [1]. Rinnan et al. répartissent les méthodes courantes de prétraitement NIR entre corrections de diffusion (MSC, SNV, normalisation) et dérivées spectrales, et comparent leurs effets sur des données réelles [3]. Ce guide traite de la première famille ; les dérivées sont abordées dans le guide Savitzky-Golay.

Correction multiplicative de la diffusion (MSC)

La MSC a été introduite par Geladi, MacDougall et Martens en 1985, pour des spectres de réflectance NIR de viande, comme une méthode multi-longueurs d'onde qui sépare l'absorption chimique de la diffusion physique, cette dernière étant modélisée par une composante additive et une composante multiplicative [2]. Chaque spectre x_i est régressé, sur l'ensemble des longueurs d'onde, sur un spectre de référence x_ref : x_i ≈ a_i + b_i·x_ref ; le spectre corrigé est (x_i − a_i)/b_i. En pratique, la référence est le spectre moyen du jeu d'étalonnage, raison pour laquelle Dhanoa et al. qualifient la MSC de transformation dépendante du jeu de données [4]. Dans l'étude sur la viande, la MSC associée à une transformation linéarisante telle que le log(1/R) corrigé ou le Kubelka-Munk inverse a donné les meilleures prédictions de matière grasse et des modèles d'étalonnage plus simples [2]. Isaksson et Næs ont ensuite testé la MSC sur cinq produits alimentaires avec une régression sur composantes principales pour les protéines, la matière grasse, l'eau et les glucides, et ont constaté qu'elle réduisait l'erreur de prédiction dans toutes les régressions, de 7 % à 68 % par rapport aux spectres d'absorbance non corrigés [5].

Cette dépendance au jeu de données a une conséquence pratique : le spectre de référence fait partie du modèle d'étalonnage, doit être appliqué sans modification à chaque nouveau spectre, et un changement de référence après un réétalonnage sur une nouvelle population modifie tous les spectres corrigés [4].

Variable normale réduite (SNV) et suppression de tendance

Barnes, Dhanoa et Lister ont proposé la SNV en 1989 comme une transformation appliquée à chaque spectre individuellement : on soustrait la moyenne propre du spectre sur toutes les longueurs d'onde et on divise le résultat par son propre écart-type, ce qui élimine les effets multiplicatifs de la diffusion et de la granulométrie sans référence à aucun autre échantillon [1]. Dans le même article, ils ont introduit la suppression de tendance (de-trending), qui consiste à ajuster au spectre corrigé par SNV un polynôme du second degré en longueur d'onde et à le soustraire pour éliminer le décalage et la courbure de la ligne de base qu'ils décrivent comme fréquents dans les échantillons pulvérulents ou densément tassés ; ils présentent le résultat comme une alternative aux spectres dérivés, dont ils jugent les formes plus difficiles à interpréter [1]. Comme la SNV n'utilise que le spectre à corriger, elle est indépendante du jeu de données : aucune référence n'est à choisir, à conserver ou à transférer.

Comment MSC et SNV sont liées, et en quoi elles diffèrent

Dhanoa et al. ont montré que les transformations MSC (dépendante du jeu) et SNV (indépendante du jeu) d'un spectre sont liées linéairement, comme le prévoit la théorie ; ce lien ne requiert que la moyenne et l'écart-type du spectre moyen du jeu et le coefficient de corrélation entre le spectre individuel et cette moyenne, et c'est par ces trois grandeurs que la dépendance au jeu entre dans la MSC [4]. Ils concluent que les deux sont des voies alternatives pour réduire les effets de granulométrie et qu'elles sont interconvertibles [4]. Pour un jeu d'étalonnage homogène, les deux donnent généralement des spectres et des modèles similaires, ce qui explique qu'on les considère souvent comme interchangeables.

Elles ne sont pourtant pas identiques. Fearn et al. ont examiné la géométrie des deux transformations dans l'espace spectral et ont décrit deux comportements distincts : la SNV peut induire des structures courbes dans les graphiques de scores des spectres traités, tandis que la MSC tend à produire des valeurs aberrantes ; les deux effets ont été illustrés avec des données de caméra d'imagerie NIR et expliqués géométriquement [6]. Une bande courbe dans un graphique de scores PCA après SNV, ou quelques échantillons extrêmes après MSC, peuvent donc être un artefact du prétraitement plutôt qu'une caractéristique chimique, et doivent être vérifiés avant d'être interprétés ou utilisés pour rejeter des échantillons [6]. Un second écueil est commun aux deux : elles supposent que le signal chimique ne représente qu'une petite partie du spectre et que les effets physiques sont identiques à toutes les longueurs d'onde. Lorsque l'analyte domine la variation spectrale, la correction peut éliminer une partie du signal de l'analyte ; Martens, Nielsen et Engelsen l'ont précisément constaté pour la MSC standard appliquée à des spectres en transmission de mélanges de poudres de gluten de blé et d'amidon, où elle éliminait trop d'information sur l'analyte [7].

MSC étendue

La correction multiplicative du signal étendue (EMSC) a été proposée par Martens et Stark en 1991 pour introduire des connaissances a priori dans le prétraitement : elle élimine les effets d'une longueur de trajet optique non maîtrisée et de la diffusion de la lumière, et sa méthode associée, la soustraction des interférences spectrales, élimine les interférents connus ; les deux ont été démontrées sur le toluène dans des mélanges benzène–xylène présentant des effets de diffusion simulés importants [8]. Martens, Nielsen et Engelsen ont ensuite étendu le modèle pour corriger conjointement les effets de diffusion additifs, multiplicatifs et dépendants de la longueur d'onde ; après EMSC, leurs spectres de poudres gluten–amidon se comportaient en grande partie comme ceux de solutions transparentes et suivaient la loi de Beer [7]. L'EMSC est la méthode à envisager lorsque la MSC ou la SNV simple déforme visiblement les bandes de l'analyte, ou lorsque l'effet de diffusion est connu pour varier avec la longueur d'onde.

Choisir entre elles en pratique

Il n'existe pas de choix unique correct ; la littérature plaide pour une courte procédure plutôt que pour un réglage par défaut :

• Décidez avec le modèle, pas à l'œil. Traitez MSC, SNV, SNV avec suppression de tendance et EMSC comme des étapes candidates, combinez chacune avec le réglage de dérivée envisagé et comparez-les par l'erreur de validation croisée, comme le font Rinnan et al. pour les méthodes courantes [3].
• Conservez la référence avec le modèle. Un spectre de référence MSC doit être appliqué sans modification au moment de la prédiction ; si la population d'étalonnage est susceptible de changer, la SNV évite entièrement la dépendance au jeu de données [4].
• Examinez les scores après correction. Des structures courbes après SNV et de nouvelles valeurs aberrantes après MSC sont des comportements connus des transformations, pas nécessairement des échantillons [6] ; si l'analyte domine le spectre, envisagez l'EMSC [7].

Correction de diffusion dans caliX

Dans la suite caliX, MSC, SNV, suppression de tendance et filtres dérivés sont configurés à l'étape de prétraitement du développement du modèle, où les combinaisons candidates sont comparées par validation croisée avant qu'un modèle PLS ne soit figé, le spectre de référence MSC étant enregistré avec le modèle. Le même flux de travail s'applique aux spectres de l'analyseur at-line MasterLine17EC pour les grains et les matières premières d'aliments pour animaux, et à ceux de l'analyseur en ligne ProLine17EC, où la granulométrie et le tassement varient avec le procédé. La correction adaptée à un matériau donné est déterminée lors d'une étude de faisabilité réalisée avec vos propres échantillons.