كيفية تصميم تجربة مقارنة لتقييم أداء الخوارزمية

إن التحكم في متغير واحد، ومعالجة السيناريوهات الأساسية، وقياس الاختلافات في النتائج هي المكونات الأساسية لإنشاء تجربة المقارنة. فيما يلي عملية تصميم شاملة وقابلة للتنفيذ:

 

I. إعداد التجربة: شرح التحكم في المتغيرات وتجميعها

1. تصميم التجميع (جعل التحكم واضحًا)

من الضروري إنشاء مجموعة اختبار ومجموعة مراقبة أساسية. إذا لزم الأمر، يمكن إضافة المزيد من مجموعات التحكم:

تجميع

وصف المجموعة

الأهداف

مجموعة التحكم في الأساس

يستخدم الخوارزميات التقليدية المستخدمة حاليًا، مثل طريقة مقارنة العتبة الثابتة.

يقدم معيار أداء لمقارنة نتائج التحسين.

مجموعة الاختبار

يستخدم الخوارزمية الجديدة التي ترغب في تأكيدها، مثل الخوارزمية المركبة الديناميكية المرحلية + 3σ + EWMA.

يقيم الأداء الفعلي للخوارزمية الجديدة.

مجموعة التحكم المتوسطة اختيارية.

يستخدم أسلوب التحسين الجزئي (على سبيل المثال، العتبة الديناميكية المرحلية فقط، بدون تحديث تكيفي).

ينهار ويؤكد المكاسب الفريدة لكل وحدة تحسين.

2. التنظيم الصارم للعوامل غير المهمة (لضمان العدالة)

لإزالة التداخل من العوامل غير-الخوارزمية، يجب أن تلتزم جميع المجموعات بالمتطلبات التالية:

الأجهزة هي نفسها تمامًا: نفس PLC لجمع البيانات، ونفس موقع التثبيت، ونفس زوج أجهزة الاستشعار.

إن معلمات خط الإنتاج والمنتج والعملية كلها متماثلة تمامًا، ولا يتم إجراء أي تعديلات على العملية أثناء الاختبار.

يجب أن تكون دورات الاختبار متطابقة تمامًا لكلا المجموعتين (ينصح بإجراء الاختبار باستمرار لمدة أسبوعين على الأقل لتغطية دورات الإنتاج الكافية).

 

ثانيا. إنشاء ثلاثة سيناريوهات اختبار أساسية تشمل كل جانب من جوانب الأداء

سيناريوهات تم إنشاؤها خصيصًا للتأكد بدقة من استقرار الخوارزمية على المدى الطويل-والإنذارات الكاذبة والإنذارات الفائتة:

1. اختبار مقاومة التداخل في التصنيع التقليدي- (التحقق الأساسي من معدل الإنذار الكاذب)

منهجية الاختبار: الإنتاج المستمر القياسي؛ تتم ملاحظة التنبيهات التي تم تشغيلها بواسطة الخوارزمية-، ويتم التأكد من شرعية كل إنذار شخصيًا.

الهدف الإحصائي هو تحديد معدلات الإنذار الكاذب للمجموعتين ومقارنة التخفيض بعد التحسين.

معايير الحكم: يتم إثبات التحسين الفعال من خلال انخفاض معدل الإنذارات الكاذبة بنسبة 60% على الأقل بالمقارنة مع مجموعة التحكم الأساسية.

2. اختبار محاكاة الخطأ الاصطناعي (المعدل السلبي الكاذب والتحقق من سرعة الاستجابة)

تم إنشاء واختبار كل مشكلة من مشكلات أجهزة الاستشعار الصناعية النموذجية الثلاث التالية عن قصد واختبارها ثلاث مرات:

نوع الخطأ

طريقة المحاكاة

مؤشر التحقق

معايير القبول

الانجراف لحظية للتدخل

امنح مستشعرًا واحدًا إزاحة فورية تبلغ 0.1%FS، ثم استرد عافيته بعد ثانية واحدة.

تحذير كاذب

ليس من المناسب إطلاق إنذار.

الشيخوخة البطيئة المستمرة

كل يوم، قم بتطبيق إزاحة FS بنسبة 0.01% على مستشعر واحد، مما يصل إلى 0.1% FS.

توقيت الإنذار والمعدل السلبي الكاذب

الكشف بنسبة 100% ولا يُقبل أي إنذارات كاذبة.

خطوة-مثل الانجراف المفاجئ

امنح مستشعرًا واحدًا إزاحة مستمرة تبلغ 0.2% FS.

تأخير في الاستجابة للإنذار

ويعتبر التأخير لمدة أقل من عشر ثوان مقبولا.

3. اختبار القدرة على التكيف مع التقدم في السن على المدى الطويل (التأكد من الاستقرار على المدى الطويل-)

طريقة الاختبار: حساب معدل الإنذارات الكاذبة الشهرية؛ التشغيل المستمر لمدة ثلاثة أشهر دون تعديلات المعلمة اليدوية.

الهدف الإحصائي: تحديد كيفية تغير معدل الإنذار الكاذب خلال الأشهر الثلاثة الأولى.

معيار النجاح: تعتبر الخوارزمية الجديدة مقبولة إذا كان معدل الإنذار الكاذب الخاص بها أقل من أو يساوي 2%، وهو أقل بكثير من معدل مجموعة التحكم الأساسية.

 

ثالثا. إحصاءات البيانات وتقييم النتائج

وللتوصل إلى استنتاجات نهائية، يتم جمع البيانات الإحصائية وفقا للبروتوكولات المعمول بها:

تسجيل البيانات الأولية الكاملة: يتم تخزين الوقت ومرحلة العملية وقيمة الانحراف وما إذا تم إطلاق التنبيه في جدول محدد. يتم وضع علامة على صحة الإنذارات بعناية.

حساب المؤشر الأساسي: يتم استخدام صيغة قياسية لحساب الإنذارات الكاذبة. معدل التغير في متوسط ​​وقت الاستجابة، ومعدل الإنذارات الكاذبة، ومعدل السلبية الكاذبة، ومعدل الإنذارات الكاذبة

تحديد الأهمية: إذا انخفض معدل الإنذار الكاذب للخوارزمية الجديدة بنسبة 60% على الأقل بالمقارنة مع خط الأساس وكان المعدل السلبي الكاذب أقل من 1%، فمن الواضح أن الأداء أفضل (السيناريو الهندسي صارم بما فيه الكفاية).

استخدم اختبار مربع كاي- للتأكد مما إذا كان التغيير صغيرًا: ص<0.05 shows that the difference is genuine and effective rather than a random fluctuation.

 

رابعا. تدابير السلامة للتجارب

تجنب تغيير الخوارزمية والأجهزة في نفس الوقت. لن تكون النتائج نهائية إذا لم يتم تغيير الخوارزمية.

سيؤدي حجم العينة الصغير جدًا إلى حدوث أخطاء إحصائية، لذا يجب ألا تقل فترة الاختبار عن أسبوع واحد.

يجب فحص كل إنذار يدويًا. لمنع التحيز الإحصائي، لا تستخدم نتائج تصنيف الخوارزمية مباشرة.