← Retour à Tous les Blogs et Publications Outlier detection statistical plot on screen

Détection chimiométrique des valeurs aberrantes : distance de Mahalanobis par rapport au T² de Hotelling

Un guide analytique détaillant les mathématiques multivariées utilisées pour identifier les anomalies spectrales, les dérives des instruments et les matières premières hors spécifications dans caliXSuite.

Le rôle de la détection des valeurs aberrantes en spectroscopie

Lors du déploiement de modèles d'étalonnage quantitatifs (construits via la régression des moindres carrés partiels ou PLS) sur une ligne de production active, le système repose sur l'hypothèse que les échantillons numérisés sont similaires à la base de données d'étalonnage. Si un échantillon analysé contient un contaminant inattendu, présente une variation de température extrême ou présente une matrice de matière première complètement différente, le modèle génère une prédiction. Cependant, cette prédiction sera mathématiquement invalide.

Pour éviter que de mauvaises prédictions n'écrivent des données corrompues dans votre système SCADA, les spectromètres de processus doivent évaluer si chaque spectre analysé est une « valeur aberrante multivariée » avant de générer des prédictions. Ceci est accompli en projetant le spectre de l'échantillon dans l'espace multidimensionnel du modèle d'étalonnage et en calculant les limites de distance statistique.

"La détection des valeurs aberrantes agit comme le système immunitaire d'un analyseur de processus. Elle garantit que les prédictions ne sont émises que lorsque l'échantillon correspond à l'espace d'étalonnage."

Distance de Mahalanobis : mesure de la covariance

La distance euclidienne simple mesure la distance en ligne droite entre un spectre d'échantillon et la moyenne d'étalonnage. Cependant, la distance euclidienne échoue en chimiométrie car elle ignore la forte corrélation (covariance) entre les longueurs d'onde adjacentes dans les spectres NIR.

Mahalanobis Distance (MD) résout ce problème en mettant à l'échelle la distance par la matrice de covariance de l'ensemble de données d'étalonnage. En effet, MD tient compte de la direction de la variance, en attribuant moins de poids aux variations dans les directions de variance d'étalonnage normale élevée, et un poids plus élevé aux écarts dans les directions où les données d'étalonnage sont étroitement liées.

T² de Hotelling : seuils de confiance

Bien que la distance de Mahalanobis fournisse une valeur de distance brute, nous avons besoin d'un seuil statistiquement solide pour signaler les valeurs aberrantes. Le T² de Hotelling normalise la distance de Mahalanobis dans un espace de projection à composante principale (PC), en calculant un score multivarié. Étant donné que T² suit une distribution F, nous pouvons établir des limites de confiance statistiques formelles (généralement 95 % ou 99 %) :

Paramètre Mahalanobis Distance (MD) Le T² d'Hôtelling
Focus mathématique Mesure la distance généralisée dans l’espace de longueur d’onde brut ou à l’échelle de covariance. Mesure la distance des scores dans l’espace des composantes principales (scores PC).
Mise à l'échelle de la covariance Échelle selon la matrice de covariance de longueur d'onde complète. Échelles en fonction de la variance des scores PC individuels.
Limite de seuil Distribution heuristique ou chi carré ($\chi^2$). Intervalles de confiance stricts de la distribution F ($1-\alpha$, où $\alpha = 0,05$ ou $0,01$).
Meilleur cas d'utilisation Signalement des matières premières défectueuses, des dérives d’instrumentation ou des défauts matériels. Validation de l'appartenance à une classe et marquage des échantillons en dehors de l'espace modèle.

Définition des limites des valeurs aberrantes dans caliXSuite

Pour implémenter des limites de valeurs aberrantes dans vos étalonnages, suivez ces étapes dans caliXSuite:

  1. Compiler les scores PCA/PLS :Ouvrez votre fichier d'étalonnage et calculez les vecteurs de chargement des composants principaux.
  2. Définir l'intervalle de confiance :Accédez à l'onglet Valeurs aberrantes et sélectionnez « Hotelling T² ». Choisissez un seuil de confiance de 99 % ($\alpha = 0,01$) pour les points de contrôle critiques, ou de 95 % ($\alpha = 0,05$) pour la surveillance de routine.
  3. Activer les alarmes ProChem :Synchronisez le modèle avec le spectromètre de processus. Dans ProChem, mappez la sortie de l'indicateur de valeur aberrante à votre registre PLC pour contenir la dernière prédiction valide lorsqu'une valeur aberrante est déclenchée.

Conclusion

Le déploiement d'une détection robuste des valeurs aberrantes à l'aide de Mahalanobis Distance et de Hotelling's T² garantit l'intégrité de l'analyseur de processus. En identifiant et en isolant les spectres anormaux, les fabricants peuvent éviter les échecs d’étalonnage et sécuriser les boucles de processus automatisés.

Références

  • ASTM E1655 -Pratiques standard pour l’analyse quantitative multivariée infrarouge.
  • Hotelling, H., "La généralisation du ratio d'étudiants",Annales de statistiques mathématiques, 1931.
  • Martens, H. et Næs, T.,Calibrage multivarié, John Wiley et fils, 1989.
USTECH Innovations Logo

Télécharger le rapport technique complet

Accédez au document technique complet et non édité avec les dérivations mathématiques de la distance de Mahalanobis, les formules de covariance et les matrices de distribution F d'Hotelling.

Lire ensuite

Introduction à la régression PLS dans la suite cali<span class=X" decoding="async" loading="lazy" src="../images/blog_pls_regression.webp?v=1.0.5" style="width: 100%; height: 180px; object-fit: cover; border-bottom: 1px solid var(--border-color);"/>
GUIDE

Introduction à la régression PLS en caliXSuite

Un didacticiel étape par étape expliquant comment compiler des modèles d'étalonnage à partir de valeurs de chimie humide de référence à l'aide du caliXplate-forme.

Lire le didacticiel
Développement de modèles de classification chimométrique robustes via PCA
GUIDE

Développement de modèles de classification chimométrique robustes via PCA

Une méthodologie étape par étape expliquant l'analyse en composantes principales pour l'identification qualitative des matières premières.

Lire le guide