Kemometrik Aykırı Değer Tespiti: Mahalanobis Mesafesi ve Hotelling'in T²'si

Her tahmin neden bir geçerlilik kontrolü gerektirir

Çok değişkenli bir kalibrasyon, ister kimya ve ilaç endüstrisinde hat içi bir analizörde ister bir yem fabrikasında masaüstü bir cihazda çalışsın, üzerinde eğitildiği numunelerin ampirik bir modelidir; Martens ve Næs otomatik aykırı değer tespitini böyle bir kalibrasyonun sağlaması gerekenler arasında sayar [1]. ASTM E1655, kalibrasyon prosedürlerinin ölçümlerin geçerli olduğu aralığı tanımladığını belirtir ve aykırı değerlerin ele alınmasını uygun bir kalibrasyonun parçası olarak görür [2]. Rutin işletim için ASTM D6122 açıktır: bir modelin bir numuneye uygulanabilirliği varsayılamaz; aykırı değer tespiti kalibrasyonun ölçülen spektruma uygulanabildiğini gösterir ve spektrum aykırıysa analizör sonucu geçersizdir; ancak test, nedenin numune mi, model mi yoksa cihaz mı olduğunu söylemez [3].

Mahalanobis uzaklığı: kovaryansı hesaba katan bir uzaklık

Mahalanobis'in 1936'da tanıttığı genelleştirilmiş uzaklık, bir noktanın bir popülasyonun merkezinden ne kadar uzakta olduğunu o popülasyonun kendi varyans ve kovaryansı birimleriyle ölçer [4]. De Maesschalck, Jouan-Rimbaud ve Massart'ın öğretici makalesi bunun spektrumlar için neden önemli olduğunu açıklar: komşu dalga boyları güçlü biçimde ilişkilidir; bu nedenle Öklid uzaklığı, spektral varyasyonun ana yönü boyunca olağan bir değişimi, kalibrasyon setinin hiç göstermediği bir yöndeki eşit büyüklükte bir değişimle tamamen aynı şekilde ele alır; Mahalanobis uzaklığı ise her yönü kendi varyansına göre ölçekler [5]. Bir NIR veri setinin tüm dalga boylarını kapsayan kovaryans matrisi güvenilir biçimde tersine çevrilemediğinden uzaklık, temel bileşen ya da PLS skor uzayında, modelin gerçekten kullandığı bileşenler üzerinde hesaplanır; öğretici makale bu durumu özgün değişken uzayıyla birlikte ele alır [5].

Hotelling’in T² istatistiği, kaldıraç ve GH: birkaç ölçekte tek bir büyüklük

Hotelling 1931'de Student oranını ilişkili birkaç değişkene genelleştirmiştir; onun T² istatistiği ters kovaryans matrisiyle ağırlıklandırılmış bir sapma vektörüdür, yani başka bir adla anılan kare Mahalanobis uzaklığıdır [6]. Garrido-Varo, García-Olmo ve Fearn, kare Mahalanobis uzaklığı D², Hotelling’in T² istatistiği, The Unscrambler'daki kaldıraç L ve WinISI'deki GH uzaklığının D² = T² ≈ L·n ≈ GH·k şeklinde ilişkili olduğunu ortaya koyar; burada n ve k uzaklığı tanımlayan verideki numune ve değişken sayılarıdır; dolayısıyla bu dönüşüm yapılmadan paketler arasında kopyalanan bir eşik veriye bağlı bir çarpan kadar yanlıştır [7]. GH ölçeği Shenk ve Westerhaus'tan gelir; onlar spektral aykırı değerleri dışlamak için popülasyon ortalamasından 3,0'lık standartlaştırılmış bir uzaklığı sınır olarak kullanmış, çalışmalarında numuneler arasında 0,6'lık en küçük komşuluk uzaklığı ise yeterli bir kalibrasyon seti sağlamıştır [8].

Q artıkları: modelin açıklamadığı kısım

Skor uzayındaki bir uzaklık yalnızca numunenin modelin bildiği yönler boyunca uç olup olmadığını sorar. Bir spektrum bu sınırların içinde kalıp yine de modelin hiç görmediği bir yapı, örneğin bir kirleticiden gelen bir bant ya da bir cihaz yapaylığı içerebilir. Jackson ve Mudholkar bu sorunu bir temel bileşen modelinin artıkları — bir gözlem ile onun bileşenlerin tamamından daha azıyla yeniden oluşturulmuş hâli arasındaki fark — üzerinde, tek bir gözlem vektörü ve bir grup için testlerle ele almıştır; hedeflenen kullanım kalite kontrolde aykırı değer tespitidir [9]. Kare artıkların toplamı Q istatistiği ya da kare tahmin hatasıdır (SPE); Jackson’un kitabı Q ve T² istatistiklerini birlikte ele alır [10]. Nomikos ve MacGregor her iki istatistik üzerine, kontrol sınırları geçmişteki başarılı partilerin tarihsel referans dağılımından geliştirilen çok değişkenli kontrol grafikleri kurmuştur [11]. İkisi birbirini tamamlar: T² ile işaretlenen bir numune kalibrasyonun kapsadığı bir yönde olağandışıdır, Q ile işaretlenen bir numune ise model düzleminin dışındadır ve yeni bir girişim yapıcıyı yalnızca ikincisi ortaya çıkarır [9][10].

Sınırları belirlemek: F, beta ve ki-kare

T² sınırları, test edilen numunenin uzaklığı tanımlayan verinin parçası olup olmadığına bağlıdır. Tracy, Young ve Mason, başlangıç aşamasında yalnızca tekil gözlemler mevcut olduğunda olağan olarak kullanılan yaklaşık F ve ki-kare sınırlarının ihtiyatlı (konservatif) olduğuna dikkat çeker ve bu durum için kesin bir beta dağılımı sınırı türetir [12]. Bir kalibrasyon projesinde bu, kalibrasyon numunelerinin kendilerini taramak ile yeni bir proses spektrumunu dondurulmuş bir modele karşı değerlendirmek arasındaki farktır; ikinci durumda F tabanlı sınır geçerlidir [12]. Q için Jackson ve Mudholkar'ın türettiği yaklaşık dağılım, seçilen bir anlamlılık düzeyinde bir sınır verir [9]. Kalibrasyon aşamasını ayrı bir tehlike etkiler: Rousseeuw ve van Zomeren, klasik ortalama ve kovaryansın bulmaları gereken aykırı değerler tarafından bizzat bozulduğunu, böylece birden çok aykırı değerin birbirini maskelediğini gösterir ve konum ile kovaryansın sağlam (robust) kestirimlerinden hesaplanan uzaklıklar önerir [13]. Bundan üç nokta çıkar:

• Kalibrasyon setini doğru sınırla temizleyin: beta tabanlı T² sınırı ya da sağlam bir uzaklık kullanın, çünkü bu aşamada F yaklaşımı ihtiyatlıdır ve klasik bir kovaryans birden çok aykırı değer tarafından maskelenebilir [12][13].
• Rutin tahminde T² ve Q'yu birlikte kullanın; kalibrasyon spektrumları yüksek derecede kümelenmiş olduğunda D6122'nin önerdiği isteğe bağlı en yakın komşu testini de ekleyin [3][9].
• Bir sınırın hangi istatistiğe ve ölçeğe ait olduğunu kaydedin, çünkü GH, kaldıraç ve T² birbirinden n ve k çarpanları kadar farklıdır [7].

caliX ve ProChem'de aykırı değer istatistikleri

caliX paketi, aykırı değer tespit yöntemleri arasında Hotelling’in T² istatistiğini ve Q artıklarını, PLS kaldıracını ve Mahalanobis uzaklığını sayar ve bir kalibrasyon setini temizlemek için GH/NH kesme değerleri sunar; ProChem dışa aktarılan modelleri USTECH analizörlerinde çalıştırır ve bunları gösterge panelleri ve alarmlarla PLC ya da SCADA sistemlerine bağlar; böylece kalibrasyon uzayının dışındaki bir spektrum sessizce bir değere dönüştürülmek yerine işaretlenir. Belirli bir ürün ve cihaz için hangi sınırların uygun olduğu, sizin numunelerinizle yapılan bir fizibilite çalışmasında belirlenir.