← العودة إلى جميع المدونات والمقالات Outlier detection statistical plot on screen

الكشف الكيميائي الخارجي: مسافة المهالانوبيس مقابل T² لفندق

كيف تُخبر مسافة Mahalanobis وإحصائية T² لـ Hotelling والرافعة وبواقي Q محلِّلَ NIR للعمليات ما إذا كان الطيف ينتمي إلى المعايرة التي يوشك على استخدامها، وكيف تُشتقّ حدود هذه الإحصائيات، ولماذا تظهر الكمية نفسها بأسماء ومقاييس مختلفة في البرمجيات المختلفة — مع الأوراق الإحصائية الأصلية وممارسات ASTM ذات الصلة.

لماذا يحتاج كل تنبّؤ إلى فحص صلاحية

المعايرة متعددة المتغيّرات، سواء عملت على محلِّل مباشر على الخط في الصناعات الكيميائية والصيدلانية أو على جهاز مكتبي في مصنع أعلاف، نموذجٌ تجريبي للعيّنات التي دُرِّب عليها، ويُدرج Martens وNæs الكشف الآلي عن القيم الشاذّة ضمن ما يجب أن توفّره هذه المعايرة [1]. وتنصّ ASTM E1655 على أن إجراءات المعايرة تحدّد المدى الذي تكون فيه القياسات صالحة، وتعدّ معالجة القيم الشاذّة جزءًا من المعايرة المطابقة [2]. وفي التشغيل الروتيني تكون ASTM D6122 صريحة: فلا يجوز افتراض قابلية تطبيق النموذج على العيّنة، والكشف عن القيم الشاذّة هو ما يُثبت أن المعايرة تنطبق على الطيف المقيس، وإذا كان الطيف قيمةً شاذّة فإن نتيجة المحلِّل غير صالحة، وإن كان الاختبار لا يبيّن هل السبب في العيّنة أم في النموذج أم في الجهاز [3].

مسافة Mahalanobis: مسافة تراعي التغاير

تقيس المسافة المعمَّمة التي قدّمها Mahalanobis عام 1936 بُعد نقطة عن مركز مجتمع بوحدات تباين ذلك المجتمع وتغايره [4]. ويوضّح الدليل التعليمي الذي أعدّه De Maesschalck وJouan-Rimbaud وMassart أهمية ذلك للأطياف: فالأطوال الموجية المتجاورة شديدة الارتباط، ولذا تعامل المسافة الإقليدية تغيّرًا عاديًا على امتداد الاتجاه الرئيسي للتباين الطيفي تمامًا كما تعامل تغيّرًا بالحجم نفسه في اتجاه لم تُظهره مجموعة المعايرة قطّ، أما مسافة Mahalanobis فتقيس كل اتجاه بحسب تباينه [5]. ولأن مصفوفة التغاير لمجموعة بيانات NIR على جميع الأطوال الموجية لا يمكن عكسها بموثوقية، تُحسب المسافة في فضاء درجات المكوّنات الرئيسية أو PLS، على المكوّنات التي يستخدمها النموذج فعلًا، وهي حالة يتناولها الدليل التعليمي إلى جانب فضاء المتغيّرات الأصلي [5].

T² لـ Hotelling والرافعة وGH: كمية واحدة بمقاييس متعددة

عمّم Hotelling عام 1931 نسبة Student على عدّة متغيّرات مترابطة؛ وإحصائيته T² هي متّجه انحراف موزون بمعكوس مصفوفة التغاير، أي مربّع مسافة Mahalanobis باسم آخر [6]. ويُثبت Garrido-Varo وGarcía-Olmo وFearn أن مربّع مسافة Mahalanobis D² وT² لـ Hotelling والرافعة L في The Unscrambler ومسافة GH في WinISI ترتبط بالعلاقة D² = T² ≈ L·n ≈ GH·k، حيث n وk عدد العيّنات وعدد المتغيّرات في البيانات التي تعرّف المسافة، ولذلك فإن عتبة تُنسخ بين حزم البرمجيات دون هذا التحويل تكون خاطئة بمعامل يعتمد على البيانات [7]. ويعود مقياس GH إلى Shenk وWesterhaus اللذين استخدما مسافة معيارية قدرها 3.0 عن متوسط المجتمع حدًّا لاستبعاد القيم الطيفية الشاذّة، في حين أعطت مسافة جوار دنيا قدرها 0.6 بين العيّنات مجموعةَ معايرة كافية في دراستهما [8].

بواقي Q: ما لم يفسّره النموذج

المسافة في فضاء الدرجات لا تسأل إلا هل العيّنة متطرّفة على امتداد الاتجاهات التي يعرفها النموذج. وقد يقع الطيف ضمن تلك الحدود ومع ذلك يحتوي على بنية لم يرها النموذج قطّ، مثل نطاق ناتج عن ملوِّث أو أثر مصطنع من الجهاز. وقد عالج Jackson وMudholkar ذلك باختبارات على بواقي نموذج المكوّنات الرئيسية، أي الفرق بين المشاهدة وإعادة بنائها من عدد من المكوّنات أقل من مجموعها الكامل، لمتّجه مشاهدة منفرد ولمجموعة، بهدف الكشف عن القيم الشاذّة في ضبط الجودة [9]. ومجموع مربّعات البواقي هو إحصائية Q أو مربّع خطأ التنبّؤ (SPE)؛ ويتناول كتاب Jackson إحصائيتَي Q وT² معًا [10]. وبنى Nomikos وMacGregor مخطّطات ضبط متعددة المتغيّرات على الإحصائيتين، بحدود ضبط مستمدّة من التوزيع المرجعي التاريخي للدفعات الناجحة السابقة [11]. والإحصائيتان متكاملتان: فالعيّنة التي تنبّه إليها T² غير مألوفة في اتجاه تمتدّ عليه المعايرة، والعيّنة التي تنبّه إليها Q تقع خارج مستوى النموذج، والثانية وحدها تكشف متداخلًا جديدًا [9][10].

تحديد الحدود: F وبيتا وكاي تربيع

تعتمد حدود T² على ما إذا كانت العيّنة المختبَرة جزءًا من البيانات التي عرّفت المسافة. ويشير Tracy وYoung وMason إلى أن حدود F وكاي تربيع التقريبية المستخدمة عادةً تكون متحفّظة حين لا تتوافر سوى مشاهدات منفردة في مرحلة البدء، ويشتقّون حدًّا دقيقًا من توزيع بيتا لهذه الحالة [12]. وفي مشروع معايرة يمثّل ذلك الفرق بين فرز عيّنات المعايرة نفسها والحكم على طيف عملية جديد مقابل نموذج مثبَّت، حيث ينطبق الحدّ القائم على F [12]. أما لإحصائية Q فإن التوزيع التقريبي الذي اشتقّه Jackson وMudholkar يعطي حدًّا عند مستوى دلالة مختار [9]. وثمة خطر منفصل يطال مرحلة المعايرة: إذ يبيّن Rousseeuw وvan Zomeren أن المتوسط والتغاير الكلاسيكيين يتشوّهان هما أنفسهما بالقيم الشاذّة التي يُراد كشفها، فتحجب عدّة قيم شاذّة بعضها بعضًا، ويقترحان مسافات تُحسب من تقديرات متينة للموقع والتغاير [13]. وتترتّب على ذلك ثلاث نقاط:

  • نظّفوا مجموعة المعايرة بالحدّ الصحيح: حدّ T² القائم على بيتا أو مسافة متينة، لأن تقريب F متحفّظ في هذه المرحلة، ولأن التغاير الكلاسيكي قد تحجبه قيم شاذّة متعددة [12][13].
  • استخدموا T² وQ معًا في التنبّؤ الروتيني، إضافةً إلى اختبار الجار الأقرب الاختياري الذي توصي به D6122 حين تكون أطياف المعايرة شديدة التجمّع [3][9].
  • سجّلوا الإحصائية والمقياس اللذين يشير إليهما الحدّ، لأن GH والرافعة وT² تختلف بمعاملَي n وk [7].

إحصائيات القيم الشاذّة في caliX وProChem

تُدرج حزمة caliX إحصائية T² لـ Hotelling وبواقي Q ورافعة PLS ومسافة Mahalanobis ضمن طرائقها للكشف عن القيم الشاذّة، وتوفّر حدود قطع GH/NH لتنظيف مجموعة المعايرة؛ ويشغّل ProChem النماذج المصدَّرة على محلِّلات USTECH ويربطها بأنظمة PLC أو SCADA مع لوحات معلومات وإنذارات، بحيث يُنبَّه إلى الطيف الواقع خارج فضاء المعايرة بدلًا من أن يتحوّل بصمت إلى قيمة. أما الحدود المناسبة لمنتج وجهاز معيّنين فتُحدَّد في دراسة جدوى تُجرى على عيّناتكم.

المراجع

  • [1] Martens, H., Næs, T. (1989). Multivariate Calibration. John Wiley & Sons, Chichester. wiley.com/en-us/Multivariate+Calibration-p-9780471930471
  • [2] ASTM E1655-17(2024). Standard Practices for Infrared Multivariate Quantitative Analysis. ASTM International, West Conshohocken, PA. store.astm.org/e1655-17r24.html
  • [3] ASTM D6122-25. Standard Practice for Validation of the Performance of Multivariate Online, At-Line, Field and Laboratory Infrared Spectrophotometer, and Raman Spectrometer Based Analyzer Systems. ASTM International, West Conshohocken, PA. store.astm.org/d6122-25.html
  • [4] Mahalanobis, P.C. (2018). Reprint of: Mahalanobis, P.C. (1936) “On the generalised distance in statistics.” Sankhya A, 80(S1), 1–7; originally Proceedings of the National Institute of Sciences of India, 2(1), 49–55. doi:10.1007/s13171-019-00164-5
  • [5] De Maesschalck, R., Jouan-Rimbaud, D., Massart, D.L. (2000). The Mahalanobis distance. Chemometrics and Intelligent Laboratory Systems, 50(1), 1–18. doi:10.1016/S0169-7439(99)00047-7
  • [6] Hotelling, H. (1931). The generalization of Student’s ratio. The Annals of Mathematical Statistics, 2(3), 360–378. doi:10.1214/aoms/1177732979
  • [7] Garrido-Varo, A., García-Olmo, J., Fearn, T. (2019). A note on Mahalanobis and related distance measures in WinISI and The Unscrambler. Journal of Near Infrared Spectroscopy, 27(4), 253–258. doi:10.1177/0967033519848296
  • [8] Shenk, J.S., Westerhaus, M.O. (1991). Population definition, sample selection, and calibration procedures for near infrared reflectance spectroscopy. Crop Science, 31(2), 469–474. doi:10.2135/cropsci1991.0011183X003100020049x
  • [9] Jackson, J.E., Mudholkar, G.S. (1979). Control procedures for residuals associated with principal component analysis. Technometrics, 21(3), 341–349. doi:10.1080/00401706.1979.10489779
  • [10] Jackson, J.E. (1991). A User’s Guide to Principal Components. John Wiley & Sons, New York. doi:10.1002/0471725331
  • [11] Nomikos, P., MacGregor, J.F. (1995). Multivariate SPC charts for monitoring batch processes. Technometrics, 37(1), 41–59. doi:10.1080/00401706.1995.10485888
  • [12] Tracy, N.D., Young, J.C., Mason, R.L. (1992). Multivariate control charts for individual observations. Journal of Quality Technology, 24(2), 88–95. doi:10.1080/00224065.1992.12015232
  • [13] Rousseeuw, P.J., van Zomeren, B.C. (1990). Unmasking multivariate outliers and leverage points. Journal of the American Statistical Association, 85(411), 633–639. doi:10.1080/01621459.1990.10474920
USTECH Innovations Logo

قيّم هذا التطبيق لعمليتك الإنتاجية

يمكن لفريق التطبيقات لدينا شرح الطريقة ومشاركة المراجع العلمية الداعمة ومناقشة كيفية تطبيقها على عمليتكم.

اتصل بنا

اقرأ التالي

مقدمة إلى انحدار PLS في مجموعة caliX
دليل

مقدمة إلى PLS الانحدار في caliXجناح

جولة عملية في معايرة PLS: كيف تُقسَّم البيانات، وكيف تُختار المعالجة المسبقة وعدد المتغيرات الكامنة بالتحقق من الصحة، وأي التشخيصات ينبغي قراءتها، وكيف يُحافَظ على النموذج حياً في الإنتاج.

اقرأ الدليل
تطوير نماذج تصنيف كيميائية قوية عبر PCA
دليل

تطوير نماذج تصنيف كيميائية قوية عبر PCA

كيف تتحول درجات PCA وتحميلاته وبواقيه إلى نموذج تصنيف، ومن أين تأتي حدود Hotelling وQ، ولماذا تختلف نمذجة الفئات عن PLS-DA، وكيف تتوقع الجهات التنظيمية التحقق من صحة نموذج NIR نوعي.

اقرأ الدليل