Chemometrische Ausreißererkennung: Mahalanobis-Distanz vs. Hotellings T²

Warum jede Vorhersage eine Gültigkeitsprüfung braucht

Eine multivariate Kalibrierung, ob sie auf einem Inline-Analysator in der chemischen und pharmazeutischen Industrie oder auf einem Tischgerät in einem Mischfutterwerk läuft, ist ein empirisches Modell der Proben, mit denen sie trainiert wurde, und Martens und Næs zählen die automatische Ausreißererkennung zu dem, was eine solche Kalibrierung leisten muss [1]. ASTM E1655 hält fest, dass die Kalibrierverfahren den Bereich festlegen, in dem Messungen gültig sind, und behandelt den Umgang mit Ausreißern als Bestandteil einer normgerechten Kalibrierung [2]. Für den Routinebetrieb ist ASTM D6122 eindeutig: Die Anwendbarkeit eines Modells auf eine Probe darf nicht vorausgesetzt werden, die Ausreißererkennung weist nach, dass die Kalibrierung auf das gemessene Spektrum anwendbar ist, und ist das Spektrum ein Ausreißer, ist das Analysatorergebnis ungültig, wobei die Prüfung nicht angibt, ob Probe, Modell oder Gerät die Ursache ist [3].

Mahalanobis-Distanz: eine Distanz, die die Kovarianz berücksichtigt

Die 1936 von Mahalanobis eingeführte verallgemeinerte Distanz misst, wie weit ein Punkt vom Zentrum einer Population entfernt liegt, in Einheiten der eigenen Varianz und Kovarianz dieser Population [4]. Das Tutorial von De Maesschalck, Jouan-Rimbaud und Massart erklärt, warum das für Spektren wichtig ist: Benachbarte Wellenlängen sind stark korreliert, sodass eine euklidische Distanz eine normale Änderung entlang der Hauptrichtung der spektralen Variation genauso behandelt wie eine gleich große Änderung in einer Richtung, die der Kalibrierdatensatz nie gezeigt hat, während die Mahalanobis-Distanz jede Richtung mit ihrer Varianz skaliert [5]. Da sich die Kovarianzmatrix eines NIR-Datensatzes über alle Wellenlängen nicht zuverlässig invertieren lässt, wird die Distanz im Score-Raum der Hauptkomponenten oder der PLS berechnet, auf den Komponenten, die das Modell tatsächlich verwendet; diesen Fall behandelt das Tutorial neben dem ursprünglichen Variablenraum [5].

Hotellings T², Leverage und GH: eine Größe auf mehreren Skalen

Hotelling verallgemeinerte 1931 das Student-Verhältnis auf mehrere korrelierte Variablen; sein T² ist ein mit der inversen Kovarianzmatrix gewichteter Abweichungsvektor, also die quadrierte Mahalanobis-Distanz unter anderem Namen [6]. Garrido-Varo, García-Olmo und Fearn zeigen, dass die quadrierte Mahalanobis-Distanz D², Hotellings T², die Leverage L in The Unscrambler und die GH-Distanz in WinISI über D² = T² ≈ L·n ≈ GH·k zusammenhängen, wobei n und k die Anzahl der Proben und Variablen in den Daten sind, die die Distanz definieren; ein ohne diese Umrechnung zwischen Programmen übernommener Grenzwert ist daher um einen datenabhängigen Faktor falsch [7]. Die GH-Skala stammt von Shenk und Westerhaus, die eine standardisierte Distanz von 3,0 vom Populationsmittelwert als Grenze für den Ausschluss spektraler Ausreißer verwendeten, während in ihrer Studie eine minimale Nachbarschaftsdistanz von 0,6 zwischen Proben einen angemessenen Kalibrierdatensatz ergab [8].

Q-Residuen: was das Modell nicht erklärt hat

Eine Distanz im Score-Raum fragt nur, ob die Probe entlang der dem Modell bekannten Richtungen extrem ist. Ein Spektrum kann innerhalb dieser Grenzen liegen und dennoch Strukturen enthalten, die das Modell nie gesehen hat, etwa eine Bande einer Verunreinigung oder ein Geräteartefakt. Jackson und Mudholkar begegneten dem mit Tests auf die Residuen eines Hauptkomponentenmodells, also die Differenz zwischen einer Beobachtung und ihrer Rekonstruktion aus weniger als allen Komponenten, für einen einzelnen Beobachtungsvektor und für eine Gruppe, mit der Ausreißererkennung in der Qualitätskontrolle als vorgesehener Anwendung [9]. Die Summe der quadrierten Residuen ist die Q-Statistik oder der quadrierte Vorhersagefehler (SPE); Jacksons Buch behandelt Q und T² gemeinsam [10]. Nomikos und MacGregor bauten multivariate Regelkarten auf beiden Statistiken auf, mit Kontrollgrenzen, die aus der historischen Referenzverteilung früherer erfolgreicher Chargen entwickelt wurden [11]. Beide ergänzen sich: Eine von T² markierte Probe ist in einer Richtung ungewöhnlich, die die Kalibrierung aufspannt, eine von Q markierte Probe liegt außerhalb der Modellebene, und nur Letzteres deckt einen neuen Störstoff auf [9][10].

Festlegen der Grenzwerte: F, Beta und Chi-Quadrat

Die Grenzwerte für T² hängen davon ab, ob die geprüfte Probe zu den Daten gehörte, die die Distanz definiert haben. Tracy, Young und Mason weisen darauf hin, dass die üblicherweise verwendeten genäherten F- und Chi-Quadrat-Grenzen konservativ sind, wenn in der Anlaufphase nur Einzelbeobachtungen vorliegen, und leiten für diesen Fall eine exakte Grenze auf Basis der Betaverteilung her [12]. In einem Kalibrierprojekt ist das der Unterschied zwischen der Prüfung der Kalibrierproben selbst und der Beurteilung eines neuen Prozessspektrums gegenüber einem eingefrorenen Modell, für die die F-basierte Grenze gilt [12]. Für Q liefert die von Jackson und Mudholkar hergeleitete Näherungsverteilung eine Grenze bei einem gewählten Signifikanzniveau [9]. Eine weitere Gefahr betrifft die Kalibrierphase: Rousseeuw und van Zomeren zeigen, dass der klassische Mittelwert und die klassische Kovarianz selbst von den Ausreißern verzerrt werden, die sie aufspüren sollen, sodass mehrere Ausreißer einander maskieren, und schlagen Distanzen auf Grundlage robuster Schätzungen von Lage und Kovarianz vor [13]. Daraus folgen drei Punkte:

• Bereinigen Sie den Kalibrierdatensatz mit der richtigen Grenze: der betabasierten T²-Grenze oder einer robusten Distanz, da die F-Näherung in dieser Phase konservativ ist und eine klassische Kovarianz durch mehrere Ausreißer maskiert werden kann [12][13].
• Verwenden Sie T² und Q in der Routinevorhersage gemeinsam, ergänzt um den optionalen Nächster-Nachbar-Test, den D6122 empfiehlt, wenn die Kalibrierspektren stark gruppiert sind [3][9].
• Halten Sie fest, auf welche Statistik und Skala sich ein Grenzwert bezieht, denn GH, Leverage und T² unterscheiden sich um Faktoren von n und k [7].

Ausreißerstatistiken in caliX und ProChem

Die caliX-Suite führt Hotellings T² und Q-Residuen, die PLS-Leverage und die Mahalanobis-Distanz unter ihren Verfahren zur Ausreißererkennung und bietet GH/NH-Grenzwerte zur Bereinigung eines Kalibrierdatensatzes; ProChem führt die exportierten Modelle auf USTECH-Analysatoren aus und verbindet sie mit PLC- oder SCADA-Systemen mit Dashboards und Alarmen, sodass ein Spektrum außerhalb des Kalibrierraums markiert wird, statt stillschweigend in einen Wert umgerechnet zu werden. Welche Grenzwerte zu einem bestimmten Produkt und Gerät passen, wird in einer Machbarkeitsstudie mit Ihren eigenen Proben ermittelt.