← Zurück zu Allen Blogs und Publikationen Outlier detection statistical plot on screen

Chemometrische Ausreißererkennung: Mahalanobis-Distanz vs. Hotellings T²

Ein analytischer Leitfaden, der die multivariate Mathematik detailliert beschreibt, die in der caliX Suite zur Identifizierung von Spektralanomalien, Instrumentenabweichungen und nicht spezifikationsgerechten Rohstoffen verwendet wird.

Die Rolle der Ausreißererkennung in der Spektroskopie

Beim Einsatz quantitativer Kalibrierungsmodelle (erstellt über partielle kleinste Quadrate oder PLS-Regression) in einer aktiven Produktionslinie geht das System davon aus, dass die gescannten Proben der Kalibrierungsdatenbank ähnlich sind. Wenn eine Probe gescannt wird, die eine unerwartete Verunreinigung enthält, eine extreme Temperaturschwankung aufweist oder eine völlig andere Rohstoffmatrix aufweist, gibt das Modell eine Vorhersage aus. Diese Vorhersage wird jedoch mathematisch ungültig sein.

Um zu verhindern, dass schlechte Vorhersagen fehlerhafte Daten in Ihr SCADA-System schreiben, müssen Prozessspektrometer vor der Ausgabe von Vorhersagen bewerten, ob jedes gescannte Spektrum ein „multivariater Ausreißer“ ist. Dies wird erreicht, indem das Probenspektrum in den mehrdimensionalen Raum des Kalibrierungsmodells projiziert und statistische Abstandsgrenzen berechnet werden.

„Die Ausreißererkennung fungiert als Immunsystem eines Prozessanalysators. Sie gewährleistet, dass Vorhersagen nur dann ausgegeben werden, wenn die Probe mit dem Kalibrierungsraum übereinstimmt.“

Mahalanobis-Distanz: Messung der Kovarianz

Der einfache euklidische Abstand misst den geradlinigen Abstand zwischen einem Probenspektrum und dem Kalibrierungsmittel. Der euklidische Abstand versagt jedoch in der Chemometrie, da er die starke Korrelation (Kovarianz) zwischen benachbarten Wellenlängen in NIR-Spektren ignoriert.

Mahalanobis-Distanz (MD) löst dieses Problem, indem die Distanz anhand der Kovarianzmatrix des Kalibrierungsdatensatzes skaliert wird. Tatsächlich berücksichtigt MD die Richtung der Varianz, indem es Variationen in Richtungen mit hoher normaler Kalibrierungsvarianz weniger Gewicht zuweist und Abweichungen in Richtungen, in denen die Kalibrierungsdaten eng gebunden sind, ein hohes Gewicht zuweist.

Hotellings T²: Vertrauensschwellen

Während die Mahalanobis-Entfernung einen Rohentfernungswert liefert, benötigen wir einen statistisch fundierten Schwellenwert, um Ausreißer zu kennzeichnen. Hotellings T² normalisiert die Mahalanobis-Distanz in einem Hauptkomponenten-Projektionsraum (PC) und berechnet einen multivariaten Score. Da T² einer F-Verteilung folgt, können wir formale statistische Konfidenzgrenzen festlegen (typischerweise 95 % oder 99 %):

Parameter Mahalanobis-Distanz (MD) Hotellings T²
Mathematischer Schwerpunkt Misst die verallgemeinerte Entfernung im rohen oder kovarianzskalierten Wellenlängenraum. Misst die Bewertungsdistanz innerhalb des Hauptkomponentenraums (PC-Bewertungen).
Kovarianzskalierung Skaliert nach der Kovarianzmatrix der gesamten Wellenlänge. Skaliert nach der Varianz der einzelnen PC-Ergebnisse.
Schwellenwert Heuristische oder Chi-Quadrat-Verteilung ($\chi^2$). Konfidenzintervalle der strengen F-Verteilung ($1-\alpha$, wobei $\alpha = 0,05$ oder $0,01$).
Bester Anwendungsfall Melden Sie fehlerhafte Rohstoffe, Abweichungen bei der Instrumentierung oder Hardwarefehler. Validieren der Klassenmitgliedschaft und Markieren von Beispielen außerhalb des Modellbereichs.

Ausreißergrenzen in der caliX Suite festlegen

Um Ausreißergrenzen in Ihre Kalibrierungen zu implementieren, befolgen Sie diese Schritte in caliXSuite:

  1. Kompilieren Sie die PCA/PLS-Ergebnisse:Öffnen Sie Ihre Kalibrierungsdatei und berechnen Sie die Hauptkomponentenlastvektoren.
  2. Konfidenzintervall festlegen:Navigieren Sie zur Registerkarte „Ausreißer“ und wählen Sie „Hotelling T²“. Wählen Sie einen Konfidenzschwellenwert von 99 % ($\alpha = 0,01 $) für kritische Kontrollpunkte oder 95 % ($\alpha = 0,05 $) für die Routineüberwachung.
  3. ProChem-Alarme aktivieren:Synchronisieren Sie das Modell mit dem Prozessspektrometer. Ordnen Sie in ProChem die Ausgabe des Ausreißer-Flags Ihrem PLC-Register zu, um die letzte gültige Vorhersage zu speichern, wenn ein Ausreißer ausgelöst wird.

Abschluss

Durch den Einsatz einer robusten Ausreißererkennung mithilfe von Mahalanobis Distance und Hotellings T² wird die Integrität des Prozessanalysators sichergestellt. Durch die Identifizierung und Isolierung anomaler Spektren können Hersteller Kalibrierungsfehler verhindern und automatisierte Prozessschleifen sichern.

Referenzen

  • ASTM E1655 -Standardpraktiken für die multivariate quantitative Infrarotanalyse.
  • Hotelling, H., „The Generalization of Student's Ratio“,Annalen der mathematischen Statistik, 1931.
  • Martens, H. und Næs, T.,Multivariate Kalibrierung, John Wiley & Sons, 1989.
USTECH Innovations Logo

Laden Sie den vollständigen technischen Bericht herunter

Greifen Sie auf das vollständige, unbearbeitete Fachpapier mit mathematischen Ableitungen der Mahalanobis-Distanz, Kovarianzformeln und Hotelling-F-Verteilungsmatrizen zu.

Lesen Sie weiter

Einführung in die PLS-Regression in der cali<span class=X Suite" decoding="async" loading="lazy" src="../images/blog_pls_regression.webp?v=1.0.5" style="width: 100%; height: 180px; object-fit: cover; border-bottom: 1px solid var(--border-color);"/>
FÜHRUNG

Einführung in die PLS-Regression in caliXSuite

Eine Schritt-für-Schritt-Anleitung, die erklärt, wie man mithilfe der caliX Plattform Kalibrierungsmodelle anhand von Referenzwerten der Nasschemie erstellt.

Lesen Sie das Tutorial
Entwicklung robuster chemometrischer Klassifizierungsmodelle über PCA
FÜHRUNG

Entwicklung robuster chemometrischer Klassifizierungsmodelle über PCA

Eine schrittweise Methodik zur Erläuterung der Hauptkomponentenanalyse zur qualitativen Identifizierung von Rohstoffen.

Leitfaden lesen