Detección de valores atípicos quimiométricos: distancia de Mahalanobis frente a T² de Hotelling

Por qué cada predicción necesita una comprobación de validez

Una calibración multivariante, tanto si funciona en un analizador en línea de la industria química y farmacéutica como en un instrumento de sobremesa de una fábrica de piensos, es un modelo empírico de las muestras con las que se entrenó, y Martens y Næs incluyen la detección automática de valores atípicos entre lo que debe proporcionar una calibración así [1]. ASTM E1655 establece que los procedimientos de calibración definen el intervalo en el que las mediciones son válidas y trata el manejo de los valores atípicos como parte de una calibración conforme [2]. Para el funcionamiento rutinario, ASTM D6122 es explícita: la aplicabilidad de un modelo a una muestra no puede darse por supuesta, la detección de valores atípicos demuestra que la calibración es aplicable al espectro medido y, si el espectro es atípico, el resultado del analizador no es válido, aunque la prueba no indica si la causa es la muestra, el modelo o el instrumento [3].

Distancia de Mahalanobis: una distancia que respeta la covarianza

La distancia generalizada introducida por Mahalanobis en 1936 mide lo lejos que está un punto del centro de una población en unidades de la propia varianza y covarianza de esa población [4]. El tutorial de De Maesschalck, Jouan-Rimbaud y Massart explica por qué esto importa en los espectros: las longitudes de onda vecinas están fuertemente correlacionadas, de modo que una distancia euclídea trata un cambio normal a lo largo de la dirección principal de variación espectral exactamente igual que un cambio de igual magnitud en una dirección que el conjunto de calibración nunca mostró, mientras que la distancia de Mahalanobis escala cada dirección por su varianza [5]. Como la matriz de covarianza de un conjunto de datos NIR con todas las longitudes de onda no puede invertirse de forma fiable, la distancia se calcula en el espacio de puntuaciones de componentes principales o de PLS, sobre los componentes que el modelo utiliza realmente, un caso que el tutorial trata junto al espacio de variables original [5].

T² de Hotelling, leverage y GH: una magnitud en varias escalas

Hotelling generalizó en 1931 el cociente de Student a varias variables correlacionadas; su T² es un vector de desviaciones ponderado por la inversa de la matriz de covarianza, es decir, la distancia de Mahalanobis al cuadrado con otro nombre [6]. Garrido-Varo, García-Olmo y Fearn establecen que la distancia de Mahalanobis al cuadrado D², la T² de Hotelling, el leverage L de The Unscrambler y la distancia GH de WinISI se relacionan como D² = T² ≈ L·n ≈ GH·k, donde n y k son el número de muestras y de variables de los datos que definen la distancia, de modo que un umbral copiado de un programa a otro sin esta conversión es erróneo en un factor que depende de los datos [7]. La escala GH procede de Shenk y Westerhaus, que utilizaron una distancia estandarizada de 3,0 respecto a la media de la población como límite para excluir valores atípicos espectrales, mientras que en su estudio una distancia mínima de vecindad de 0,6 entre muestras dio un conjunto de calibración adecuado [8].

Residuos Q: lo que el modelo no explicó

Una distancia en el espacio de puntuaciones solo pregunta si la muestra es extrema en las direcciones que el modelo conoce. Un espectro puede situarse dentro de esos límites y contener aun así una estructura que el modelo nunca ha visto, como una banda de un contaminante o un artefacto del instrumento. Jackson y Mudholkar abordaron esto con pruebas sobre los residuos de un modelo de componentes principales, la diferencia entre una observación y su reconstrucción a partir de menos componentes que el total, para un único vector de observación y para un grupo, con la detección de valores atípicos en el control de calidad como uso previsto [9]. La suma de los residuos al cuadrado es el estadístico Q o error de predicción al cuadrado (SPE); el libro de Jackson trata Q y T² conjuntamente [10]. Nomikos y MacGregor construyeron gráficos de control multivariantes sobre ambos estadísticos, con límites de control desarrollados a partir de la distribución histórica de referencia de lotes anteriores correctos [11]. Ambos son complementarios: una muestra señalada por T² es inusual en una dirección que abarca la calibración, una muestra señalada por Q queda fuera del plano del modelo, y solo la segunda revela un nuevo interferente [9][10].

Fijación de los límites: F, beta y chi cuadrado

Los límites de T² dependen de si la muestra ensayada formaba parte de los datos que definieron la distancia. Tracy, Young y Mason señalan que los límites aproximados F y chi cuadrado que se usan habitualmente son conservadores cuando en la fase de arranque solo se dispone de observaciones individuales, y derivan para ese caso un límite exacto basado en la distribución beta [12]. En un proyecto de calibración, esta es la diferencia entre depurar las propias muestras de calibración y juzgar un nuevo espectro de proceso frente a un modelo congelado, caso en el que se aplica el límite basado en F [12]. Para Q, la distribución aproximada derivada por Jackson y Mudholkar proporciona un límite a un nivel de significación elegido [9]. Un riesgo distinto afecta a la fase de calibración: Rousseeuw y van Zomeren muestran que la media y la covarianza clásicas quedan distorsionadas por los mismos valores atípicos que deben detectar, de modo que varios valores atípicos se enmascaran entre sí, y proponen distancias calculadas a partir de estimaciones robustas de posición y covarianza [13]. De ello se derivan tres puntos:

• Depure el conjunto de calibración con el límite adecuado: el límite de T² basado en la distribución beta o una distancia robusta, ya que la aproximación F es conservadora en esta fase y una covarianza clásica puede quedar enmascarada por varios valores atípicos [12][13].
• Utilice T² y Q conjuntamente en la predicción rutinaria, junto con la prueba opcional del vecino más próximo que recomienda D6122 cuando los espectros de calibración están muy agrupados [3][9].
• Registre a qué estadístico y a qué escala se refiere un límite, porque GH, leverage y T² difieren en factores de n y k [7].

Estadísticos de valores atípicos en caliX y ProChem

La suite caliX incluye la T² de Hotelling y los residuos Q, el leverage de PLS y la distancia de Mahalanobis entre sus métodos de detección de valores atípicos y ofrece umbrales GH/NH para depurar un conjunto de calibración; ProChem ejecuta los modelos exportados en los analizadores de USTECH y los conecta a sistemas PLC o SCADA con paneles y alarmas, de modo que un espectro fuera del espacio de calibración se señala en lugar de convertirse silenciosamente en un valor. Qué límites convienen a un producto y un instrumento determinados se establece en un estudio de viabilidad con sus propias muestras.