Détection chimiométrique des valeurs aberrantes : distance de Mahalanobis par rapport au T² de Hotelling

Pourquoi chaque prédiction nécessite un contrôle de validité

Un étalonnage multivarié, qu'il fonctionne sur un analyseur en ligne dans l'industrie chimique et pharmaceutique ou sur un instrument de paillasse dans une usine d'aliments pour animaux, est un modèle empirique des échantillons sur lesquels il a été construit, et Martens et Næs comptent la détection automatique des valeurs aberrantes parmi les fonctions qu'un tel étalonnage doit assurer [1]. L'ASTM E1655 indique que les procédures d'étalonnage définissent le domaine dans lequel les mesures sont valides et considère le traitement des valeurs aberrantes comme partie intégrante d'un étalonnage conforme [2]. Pour l'exploitation de routine, l'ASTM D6122 est explicite : l'applicabilité d'un modèle à un échantillon ne peut être présumée, la détection des valeurs aberrantes démontre que l'étalonnage s'applique au spectre mesuré, et si le spectre est aberrant, le résultat de l'analyseur est invalide, même si l'essai ne dit pas si la cause est l'échantillon, le modèle ou l'instrument [3].

Distance de Mahalanobis : une distance qui respecte la covariance

La distance généralisée introduite par Mahalanobis en 1936 mesure l'éloignement d'un point par rapport au centre d'une population en unités de la variance et de la covariance propres à cette population [4]. Le tutoriel de De Maesschalck, Jouan-Rimbaud et Massart explique pourquoi cela importe pour les spectres : les longueurs d'onde voisines sont fortement corrélées, si bien qu'une distance euclidienne traite une variation normale le long de la direction principale de variation spectrale exactement comme une variation de même ampleur dans une direction que le jeu d'étalonnage n'a jamais présentée, alors que la distance de Mahalanobis pondère chaque direction par sa variance [5]. Comme la matrice de covariance d'un jeu de données NIR sur toutes les longueurs d'onde ne peut pas être inversée de façon fiable, la distance est calculée dans l'espace des scores de l'analyse en composantes principales ou de la PLS, sur les composantes effectivement utilisées par le modèle, cas que le tutoriel traite à côté de celui de l'espace des variables d'origine [5].

T² de Hotelling, levier et GH : une seule grandeur sur plusieurs échelles

Hotelling a généralisé en 1931 le rapport de Student à plusieurs variables corrélées ; son T² est un vecteur d'écart pondéré par l'inverse de la matrice de covariance, c'est-à-dire le carré de la distance de Mahalanobis sous un autre nom [6]. Garrido-Varo, García-Olmo et Fearn établissent que le carré de la distance de Mahalanobis D², le T² de Hotelling, le levier L de The Unscrambler et la distance GH de WinISI sont liés par D² = T² ≈ L·n ≈ GH·k, où n et k sont les nombres d'échantillons et de variables des données qui définissent la distance ; un seuil recopié d'un logiciel à l'autre sans cette conversion est donc faux d'un facteur qui dépend des données [7]. L'échelle GH vient de Shenk et Westerhaus, qui utilisaient une distance standardisée de 3,0 par rapport à la moyenne de la population comme limite d'exclusion des spectres aberrants, tandis qu'une distance de voisinage minimale de 0,6 entre échantillons fournissait un jeu d'étalonnage adéquat dans leur étude [8].

Résidus Q : ce que le modèle n'a pas expliqué

Une distance dans l'espace des scores ne demande que si l'échantillon est extrême selon les directions que le modèle connaît. Un spectre peut se situer à l'intérieur de ces limites et contenir malgré tout une structure que le modèle n'a jamais vue, par exemple une bande due à un contaminant ou un artefact instrumental. Jackson et Mudholkar ont abordé ce problème par des tests sur les résidus d'un modèle en composantes principales, c'est-à-dire la différence entre une observation et sa reconstruction à partir d'un nombre de composantes inférieur au nombre total, pour un vecteur d'observation unique et pour un groupe, en vue de la détection des valeurs aberrantes en contrôle qualité [9]. La somme des carrés des résidus est la statistique Q ou erreur quadratique de prédiction (SPE) ; l'ouvrage de Jackson traite Q et T² ensemble [10]. Nomikos et MacGregor ont construit des cartes de contrôle multivariées sur ces deux statistiques, avec des limites de contrôle établies à partir de la distribution de référence historique des lots réussis [11]. Les deux sont complémentaires : un échantillon signalé par T² est inhabituel dans une direction couverte par l'étalonnage, un échantillon signalé par Q se trouve hors du plan du modèle, et seul le second révèle un nouvel interférent [9][10].

Fixer les limites : F, bêta et khi-deux

Les limites de T² dépendent de l'appartenance ou non de l'échantillon testé aux données qui ont défini la distance. Tracy, Young et Mason soulignent que les limites approchées F et khi-deux habituellement utilisées sont conservatrices lorsque seules des observations individuelles sont disponibles au stade de démarrage, et établissent pour ce cas une limite exacte fondée sur la loi bêta [12]. Dans un projet d'étalonnage, c'est la différence entre le criblage des échantillons d'étalonnage eux-mêmes et l'évaluation d'un nouveau spectre de procédé par rapport à un modèle figé, cas où s'applique la limite fondée sur F [12]. Pour Q, la distribution approchée établie par Jackson et Mudholkar donne une limite à un niveau de signification choisi [9]. Un autre danger concerne le stade de l'étalonnage : Rousseeuw et van Zomeren montrent que la moyenne et la covariance classiques sont elles-mêmes faussées par les valeurs aberrantes qu'elles sont censées détecter, si bien que plusieurs valeurs aberrantes se masquent mutuellement, et proposent des distances calculées à partir d'estimations robustes de la position et de la covariance [13]. Trois points en découlent :

• Nettoyez le jeu d'étalonnage avec la bonne limite : la limite de T² fondée sur la loi bêta ou une distance robuste, car l'approximation F est conservatrice à ce stade et une covariance classique peut être masquée par plusieurs valeurs aberrantes [12][13].
• Utilisez T² et Q ensemble en prédiction de routine, complétés par le test facultatif du plus proche voisin que recommande la D6122 lorsque les spectres d'étalonnage sont très regroupés [3][9].
• Consignez la statistique et l'échelle auxquelles se rapporte une limite, car GH, levier et T² diffèrent de facteurs n et k [7].

Statistiques de valeurs aberrantes dans caliX et ProChem

La suite caliX compte le T² de Hotelling et les résidus Q, le levier PLS et la distance de Mahalanobis parmi ses méthodes de détection des valeurs aberrantes et propose des seuils GH/NH pour nettoyer un jeu d'étalonnage ; ProChem exécute les modèles exportés sur les analyseurs USTECH et les relie aux systèmes PLC ou SCADA avec tableaux de bord et alarmes, de sorte qu'un spectre situé hors de l'espace d'étalonnage soit signalé au lieu d'être converti silencieusement en valeur. Les limites adaptées à un produit et à un instrument donnés sont établies par une étude de faisabilité réalisée avec vos propres échantillons.