|
ملخص الرسالة:
أظهرت الأبحاث السابقة أنه لا يوجد نهج أو نموذج (الجورثم المصنف) واحد مناسب لجميع المهام في التعرف على الإيماءات، لذلك يقدم هذا البحث تجميع من أجهزة الحساسات والخوارزميات الثلاثة التالية (SVM, RF, KNN) التي تم ضبطها بعدة متغيرات لدراسة أفضل الخيارات والتي تعطي أعلى نتائج دقة في تفسير الاشارات مع أقل تعقيد ممكن في ضبط المتغيرات.
تقدم هذه الدراسة ثمانية نماذج لتفسير لغة الاشارة, سبعة منها لتفسير الإيماءات الساكنة أو الثابتة (SPM) باستخدام جهازي الحساسات المعتمدة على تقنية قياس البعد الكنكت والليب ( Kinect و LMC) والثامن لتفسير الايماءات الحركية (DPM) باستخدام كينكت فقط .حيث تم تطوير النماذج الثمانية باتباع نفس الخطوات: 1) تحديد أجهزة الحاسات المناسبة والتي سيتم استخدامها لالتقاط جميع بيانات زوايا المفاصل للهيكل العظمي البشري العلوي، 2) إنشاء واجهة النموذج الأولية لجمع مجموعة البيانات 3) طلب تمثيل الايماءات من قبل المشاركين وهي 28 حرف من لغة الاشارة ، 5 كلمات ثابتة، و 6 كلمات متحركة وتخزينها بجدول البيانات ، 4) استخلاص الميزات أو الخصائص من جدول البيانات، 5) تصنيف مجموعة البيانات باستخدام مفهوم تعلم الآلة والمبني على تقسيم البيانات إلى مجموعة تدريب النموذج ومجموعة اختبار أداء النموذج، 6) تقييم أداء خوارزميات المصنف المختلفة باستخدام ثلاثة مقاييس وهي (Accuracy, logLoss, AUC). مع العلم أنه لم يتم استخدام نفس فئة الخوارزميات في جميع النماذج الثمانية. حيث تم استخدام خوارزمية واحدة فقط في SPM1 و SPM2 وSPM3 ومجموعة من الخوارزميات في SPM4 و SPM5 و SPM6 و SPM7 و DPM
على الرغم من علو نتائج دقة التفسير التي حققها النموذجين SPM1 و SPM2، لكن الموذج الأول يتطلب وقوف المستخدمين في نفس المسافة بكل مرة في حين يتطلب النموذج الثاني معالجة طويلة في الوقت الحقيقي للتنفيذ. أما باقي الثمن نماذج حققت دقة تفسير كالتالي: SPM3 =86.00٪ و SPM4 =97.059٪ و SPM5 =96.119٪ و SPM6 =87.05882٪ و =DPM 83.01887٪. بالاضافة الى أن دقة التفسير تعتمد على حجم مجموعة البيانات بشكل عام، لكن نستطيع القول بأن خوارزميةSVM بضبط متغيراتها كالتالي: Cost=3, Gamma = 0.003 حققت أعلى نتيجة دقة لتفسير الايماءات باستخدام كينكت و لليب معا لايماءات الثابتة وكينكت وحده لالتقاط الإيماءات الحركية أو الديناميكية.
الشكل التالي يوضح أكثر خطوات تفسير أي ايماءة باستخدام منهجية تعليم الالة بشكل عام حيث تبدا الخطوات في تحديد الجهاز الذي سيتم من خلاله جمع البيانات ومن ثم يتم استخراج بعض الخصائص والمميزات من البيانات المخزنة وفي خطوة التصنيف يتم استخدام احد الخوارزميات لبناء وتدريب واختبار نموذج التصنيف حيث يكون ناتج هذه الخطوة هو اسم اي ايماءة قد يقوم بها المستخدم امام الجهاز.
كما انه لابد من الاخذ بعين الاعتبارات لخطوة تقييم اداء الخوارزمية (Classifiers Evaluation) حيث يمكن اتباع عدد من الأليات ولكن يفضل استخدام أكثر من طريقة للتحقق أن تقييم الاداء صحيح حيث تم استخدام ثلاث مقاييس للأداء في هذه الدراسة وهي (Accuracy، logLoss، AUC).
|