ما هو دمج المستشعرات وكيف يعمل؟

دمج المستشعرات (sensor fusion) هو الجمع بين قراءات عدة مستشعرات بحيث تكون النتيجة أدق أو أكمل أو أجدر بالثقة مما يستطيع أي مستشعر منفرد أن يقدمه. يفعل هاتفك ذلك حين يحدد تطبيق الخرائط الاتجاه الذي تواجهه. وتفعله السيارة حين تجمع بين الكاميرا والرادار لتقدير المسافة إلى المركبة التي أمامها. وتفعله المكنسة الروبوتية لتعرف موقعها في غرفة معيشتك.

تتوقف معظم الشروحات عند الآلة الواحدة. لكن هناك صورة ثانية لا تقل أهمية لكل من يدير مباني أو مواقع: الجمع بين أحداث من مستشعرات منفصلة موزعة على طابق أو مستودع أو مجمّع. الرياضيات هنا مختلفة، لكن المنطق نفسه ينتقل، وما إن تفهم كيف يعمل الدمج داخل الجهاز حتى يصبح تصميم الدمج على مستوى الموقع تصميمًا جيدًا أسهل بكثير.

باختصار

يجمع دمج المستشعرات عدة قياسات غير مثالية في تقدير واحد تثق به أكثر من أي منها وحده.
داخل الآلة الواحدة، تعطي خوارزميات مثل المرشحات التكميلية ومرشحات كالمان كل مستشعر وزنًا بحسب مقدار الضوضاء في قراءاته.
يمكن أن يحدث الدمج على ثلاثة مستويات: البيانات الخام، أو الخصائص المستخرجة، أو القرارات النهائية.
على مستوى مبنى أو موقع، يحوّل الدمج على مستوى القرار فتح باب وحركة في ممر وحدثًا من كاميرا إلى حدث واحد تستطيع قاعدة أن تتصرف بناءً عليه.

أين تُستخدم تقنية دمج المستشعرات؟

تظهر تقنية دمج المستشعرات حيثما كانت لدى مستشعر نقطة عمياء يغطيها مستشعر آخر، أي في كل مكان تقريبًا.

الهواتف والأجهزة القابلة للارتداء هي الحالة الأكثر شيوعًا. فوحدة القياس بالقصور الذاتي (IMU) تجمع بين مقياس تسارع وجيروسكوب، وتضيف معظم الهواتف إليهما مقياسًا مغناطيسيًا، أي بوصلة رقمية. يعرف مقياس التسارع اتجاه الجاذبية، لكن قراءته ترتجف مع كل خطوة. ويقيس الجيروسكوب الدوران بسلاسة، لكنه ينحرف تدريجيًا، لأن الأخطاء الصغيرة تتراكم وهو يكامل الدوران عبر الزمن. ويعطي المقياس المغناطيسي اتجاه البوصلة، لكنه يرتبك بالقرب من العوارض الفولاذية ومكبرات الصوت. وعند دمجها، تنتج تقديرًا مستقرًا للتوجّه لا يستطيع أي منها الحفاظ عليه وحده.

تجمع السيارات بين الكاميرات والرادار والمستشعرات فوق الصوتية، وأحيانًا الليدار (lidar). تقرأ الكاميرا علامات المسارات واللافتات، لكنها تتعثر مع الوهج والضباب. ويقيس الرادار المسافة والسرعة بموثوقية في الطقس السيئ، لكن دقة التمييز لديه منخفضة، فيصعب عليه التفريق بين أحد المشاة وعمود. أما الليدار فيبني مخططًا ثلاثي الأبعاد دقيقًا للمشهد. ويدمج برنامج المركبة كل ذلك في صورة واحدة لما يحيط بها.

تمزج الروبوتات والطائرات المسيّرة بين مشفّرات العجلات ووحدات IMU والكاميرات وتحديد المواقع عبر الأقمار الصناعية. وتجمع الطائرات منذ عقود بين الملاحة بالقصور الذاتي وتحديد الموقع لاسلكيًا وعبر الأقمار الصناعية. وتعمل على المبدأ نفسه أجهزةُ مراقبة المرضى التي تقرأ معدل نبض القلب إلى جانب تشبع الدم بالأكسجين، والآلاتُ الصناعية التي تقدّر تآكل المحامل من الاهتزاز والحرارة معًا. لكل مستشعر نقطة ضعف تميّزه، ونادرًا ما تتداخل نقاط الضعف هذه، والدمج يستخدم قوة مستشعر لسد ثغرة مستشعر آخر.

ما هي خوارزميات دمج المستشعرات؟

خوارزميات دمج المستشعرات هي القواعد التي تقرر مقدار الثقة في كل مُدخل في كل لحظة. وهي تتراوح بين بضعة أسطر من العمليات الحسابية وأدوات احتمالية تتتبع عدم اليقين صراحةً.

أبسطها المتوسط المرجّح. فإذا قرأ مقياسا حرارة في الغرفة نفسها 21.0 °C و21.6 °C، وكنت تعرف أن دقة الثاني ضعف دقة الأول، فإنك تعطيه وزنًا أكبر. وهذا الحدس، أي الثقة أكثر بالمصدر الأقل ضوضاء، يسري في كل طريقة تأتي بعده.

المرشح التكميلي هو الخيار الكلاسيكي لتقدير التوجّه. فهو يمرر قراءة الجيروسكوب عبر مرشح تمرير عالٍ، فيُبقي التغيرات السريعة ويتخلص من الانحراف البطيء، ويمرر قراءة مقياس التسارع عبر مرشح تمرير منخفض، فيُبقي الاتجاه طويل المدى للجاذبية ويتخلص من الارتجاف. ثم يجمع الاثنين. وفي الشيفرة البرمجية كثيرًا ما يُكتب في سطر واحد على غرار: الزاوية = 0.98 × (الزاوية + معدل الجيروسكوب × dt) + 0.02 × زاوية مقياس التسارع. والقيمتان 0.98 و0.02 خياران للضبط لا ثوابت طبيعية، وتشغّل الطائرات المسيّرة للهواة والروبوتات ذاتية التوازن مرشحات كهذه لأن حسابها لا يكلف شيئًا تقريبًا.

تتعامل مرشحات الجسيمات مع الحالات التي لا يتخذ فيها عدم اليقين شكل منحنى جرسي منتظم، مثل روبوت قد يكون في أي من ممرين متطابقين. فهي تحتفظ بآلاف التخمينات، تُسمى الجسيمات، وتعطي كلًا منها وزنًا بحسب مدى تطابقه مع أحدث القياسات، ثم تعيد أخذ العينات بحيث تختفي التخمينات المستبعدة. وتظهر الشبكات البايزية والشبكات العصبية المدرّبة على بيانات المستشعرات الخام في برمجيات القيادة الذاتية وفي الأبحاث، حيث لا تعود الأوزان المضبوطة يدويًا مجدية حين تبلغ المُدخلات العشرات.

لكن الخوارزمية التي ستصادفها أكثر من غيرها هي مرشح كالمان.

كيف يعمل دمج المستشعرات باستخدام مرشح كالمان؟

نشر رودولف كالمان هذا المرشح عام 1960، وسرعان ما وجد طريقه إلى حواسيب الملاحة في برنامج أبولو التابع لناسا. وبعد أكثر من ستين عامًا، لا يزال هو الإجابة المعيارية عن سؤال: كيف تجمع بين تنبؤ وقياس مشوب بالضوضاء؟

يعمل المرشح في حلقة من خطوتين. في خطوة التنبؤ، يستخدم نموذجًا لكيفية تحرك النظام ليقدّر الحالة التالية، ومعها مقدار عدم اليقين في هذا التقدير. وفي خطوة التحديث، يصل قياس فيمزج المرشح بين التنبؤ والقياس، ويعطي كلًا منهما وزنًا بحسب عدم اليقين فيه. ثم تبدأ الحلقة من جديد.

لنأخذ روبوت توصيل، بأرقام مُفترضة لكنها معقولة. يريد الروبوت أن يعرف المسافة التي قطعها على امتداد ممر. فقياس المسافة بعدّاد العجلات يتنبأ بقيمة، ومنارة لتحديد المواقع مثبتة على الجدار تبلغ عن قيمة أخرى.

المصدر	التقدير	التباين (عدم اليقين)
قياس المسافة بعدّاد العجلات (تنبؤ)	12.0 م	1.0 م²
تحديد الموقع عبر المنارة (قياس)	10.0 م	4.0 م²
التقدير المدمج	11.6 م	0.8 م²

يُعطى كل مصدر وزنًا يساوي مقلوب تباينه. فيحصل عدّاد العجلات على 1 / 1.0 = 1.0، وتحصل المنارة على 1 / 4.0 = 0.25. ويكون الموقع المدمج (12.0 × 1.0 + 10.0 × 0.25) / 1.25 = 11.6 م، أي أقرب إلى المصدر الأكثر موثوقية. أما التباين المدمج فهو 1 / 1.25 = 0.8 م²، وهو أصغر من تباين أي من المُدخلين. فالجمع بين مصدرين غير مثاليين يجعل الروبوت أكثر يقينًا مما كان عليه مع أفضلهما وحده.

في المرشح الحقيقي، تتضمن الحالة عادةً الموقع والسرعة، وكثيرًا ما تتضمن التوجّه أيضًا. وتتحول التباينات المفردة إلى مصفوفات تغاير، وتتولى كمية تُسمى كسب كالمان الترجيح تلقائيًا في كل خطوة. أما مرشح كالمان الممتد (EKF) ومرشح كالمان غير المعطّر (UKF) فيكيّفان الطريقة مع الأنظمة التي لا تكون حركتها خطية، وهذا وصف معظم الروبوتات والمركبات الحقيقية.

ما هو دمج المستشعرات المتعددة؟

يعني دمج المستشعرات المتعددة عادةً الجمع بين أكثر من مستشعرين، وكثيرًا ما تكون من أنواع مختلفة، وهو يفرض قرارًا تصميميًا بشأن الموضع الذي يحدث فيه الجمع داخل سلسلة المعالجة. ويصف المهندسون عادةً ثلاثة مستويات.

الدمج منخفض المستوى، أو دمج البيانات، يمزج الإشارات الخام قبل تفسير أي شيء، كإسقاط نقاط الليدار على بكسلات الكاميرا لبناء سحابة نقاط ثلاثية الأبعاد ملونة واحدة. وهو يحتفظ بأكبر قدر من المعلومات، لكنه يتطلب أن تكون المستشعرات متزامنة بإحكام ومعايَرة بعضها مقابل بعض.
الدمج متوسط المستوى، أو دمج الخصائص، يستخرج أولًا خصائص من كل مستشعر، مثل الحواف من صورة الكاميرا وسرعة الأجسام من الرادار، ثم يمزج هذه الخصائص.
الدمج عالي المستوى، أو دمج القرارات، يترك كل مستشعر يصل إلى استنتاجه الخاص، مثل «فُتح الباب» أو «رُصدت حركة» أو «حركة في الإطار»، ثم يجمع هذه الاستنتاجات.

يتنازل الدمج على مستوى القرار عن بعض التفاصيل، لكن له ميزة عملية كبيرة. فالمستشعرات لا تحتاج إلى ساعة مشتركة بدقة الملّي ثانية، ولا إلى أن تكون على السلك نفسه أو من الشركة المصنعة نفسها. يكفي أن يبلغ كل منها عن حدث ووقت. وهذا بالضبط هو الوضع في مبنى حقيقي، حيث اشتُري ملامس باب في طابق ومستشعر حركة في ممر وكاميرا عند رصيف التحميل في سنوات مختلفة ومن موردين مختلفين، ويتواصل كلٌّ منها عبر تقنية راديو مختلفة.

أمثلة على دمج المستشعرات في المباني

لنأخذ إنذارًا خارج ساعات العمل في مستودع. ملامس الباب المغناطيسي وحده إشارة ضعيفة. فقد تهز الرياح بابًا مخلخلًا، وقد ينزاح الملامس عن موضعه بعد أن تصطدم رافعة شوكية بالإطار، وقد يكون لدى موظف يحمل مفتاحًا سبب وجيه للدخول. ومستشعر الحركة بالأشعة تحت الحمراء السلبية (PIR) وحده غير موثوق أيضًا. فهو يستجيب للأجسام الدافئة التي تتحرك في مجال رؤيته، لذا قد يُطلقه سخّان بدأ دورة تشغيله أو حيوان عابر.

اجمع بينهما فتتغير الصورة. فالباب الذي يُفتح خارج ساعات العمل، ثم تتبعه خلال دقيقة حركة في الممر الذي خلفه، أرجح بكثير أن يكون وراءه شخص لا ينبغي أن يكون هناك. أضف حركة من كاميرا تغطي الممر نفسه، فتصبح لديك ثلاثة مصادر مستقلة متفقة. هذا هو الدمج على مستوى القرار: ثلاثة مستشعرات رخيصة وغير مثالية تنتج حدثًا واحدًا يستحق أن توقظ أحدًا من أجله.

يفيد النمط نفسه في مشكلات أخرى. فمستشعر تسرب يبلغ عن وجود ماء بينما يُظهر مستشعر ضغط على خط الإمداد انخفاضًا، إشارةُ تسرب أقوى من أي من القراءتين وحدها. وغرفة تبريد ترتفع حرارتها بينما يشير ملامس بابها إلى أنه مفتوح منذ عشر دقائق تخبرك لماذا ارتفعت الحرارة. وارتفاع CO2 في غرفة اجتماعات بينما يقرأ عدّاد الأشخاص صفرًا يشير إلى عطل في التهوية لا إلى غرفة مزدحمة.

ما أفضل برنامج لدمج المستشعرات المتعددة في المباني؟

يجري الدمج داخل الجهاز حيث توجد المستشعرات: في شريحة الحركة في الهاتف، أو حاسوب القيادة في السيارة، أو منظومة الملاحة في الروبوت. أما الدمج على مستوى المبنى كله فيحتاج إلى موطن مختلف، مكان واحد يرسل إليه كل ملامس باب ومستشعر حركة وكاميرا في الموقع قراءاته، أيًا كانت الشركة المصنعة وأيًا كانت تقنية الراديو، بحيث يمكن فحص قراءاتها معًا في مكان واحد.

لهذه المهمة على مستوى القرار، Kilo هي الخيار الأفضل، لأنها تربط أجهزة من شركات مصنعة وبروتوكولات مختلفة في نظام واحد، وتتيح لك الجمع بين قراءاتها في قاعدة واحدة. والقاعدة في Kilo مسار عمل مرئي ترسمه خطوة بخطوة. تبدأها قراءة ملامس الباب، ثم تجلب خطوة Enrichment أحدث قراءة من مستشعر آخر، مثل مستشعر الحركة في الممر، لحظة تشغيل القاعدة. وتعمل قراءة الحركة من كاميرا عبر Kilo Lens في القاعدة مثل أي قراءة مستشعر أخرى، لذا يستطيع شرط القاعدة التحقق من أحدث القراءات من مصدرين أو ثلاثة قبل أن يحدث أي شيء.

تتعامل إعدادات التوقيت مع الإنذارات الكاذبة في مثال المستودع. فعندما يُضبط المُحفِّز على «Only if it lasts»، يجب أن يبقى الباب مفتوحًا مدة تختارها، بين 10 ثوانٍ و30 يومًا، قبل أن تبدأ القاعدة، فيُتجاهَل الباب الذي ينفتح لثانية بفعل هبّة ريح. ويحصر جدول زمني من الأيام وأوقات From/To عمل القاعدة في الساعات التي ينبغي أن يكون فيها المبنى خاليًا.

وحين يتحقق الشرط المجمّع، تُطلق القاعدة إنذارًا، فتُخطر سلسلة التصعيد الخاصة بالإنذار أول شخص مناوب فورًا، وتنتقل إلى الشخص التالي إذا لم يعالجه أحد في الوقت المحدد. وتأتي إشعارات البريد الإلكتروني والإشعارات الفورية مع كل خطة، أما الرسائل النصية القصيرة (SMS) فإضافة مدفوعة. وينطبق النهج نفسه على الذكاء الاصطناعي المادي، حيث تربط Kilo المستشعرات والروبوتات وغيرها من المعدات المتوافقة لتتصرف بناءً على سياق مشترك.

أسئلة شائعة عن دمج المستشعرات

هل دمج المستشعرات نوع من الذكاء الاصطناعي؟

ليس بالضرورة. فدمج المستشعرات الكلاسيكي، بما فيه مرشحات كالمان والمرشحات التكميلية، رياضيات تقدير لا تعلّم فيها. ويدخل تعلم الآلة حين يُدرَّب نموذج على الجمع بين بيانات المستشعرات الخام مباشرة، وهذا شائع في أبحاث القيادة الذاتية، لذا تمزج أنظمة حديثة كثيرة بين النهجين.

ما الفرق بين دمج المستشعرات ودمج البيانات؟

دمج البيانات هو المصطلح الأوسع. فهو يشمل الجمع بين أي مصادر للمعلومات، بما فيها قواعد البيانات والتقارير والملاحظات البشرية، لا القياسات الفيزيائية وحدها. ودمج المستشعرات هو الجزء من دمج البيانات الذي يتعامل مع قراءات المستشعرات، ولا يزال نموذج JDL لدمج البيانات، الذي طُوّر لأبحاث الدفاع الأمريكية في ثمانينيات القرن العشرين، مرجعًا شائعًا لكليهما.

لماذا تُعد مزامنة الوقت مهمة في دمج المستشعرات؟

إذا كانت قراءة أقدم من أخرى بـ 200 ملّي ثانية، فإن السيارة أو الروبوت السريع يكون قد تحرك بالفعل، فيدمج المرشح لحظتين مختلفتين كأنهما لحظة واحدة. والأنظمة التي تدمج البيانات الخام بسرعة عالية كثيرًا ما تزامن ساعات مستشعراتها على مستوى العتاد. أما الدمج على مستوى القرار في مبنى فيقارن الأحداث على مدى ثوانٍ أو دقائق، لذا فهو أكثر تسامحًا، لكن الأجهزة تظل بحاجة إلى إعدادات وقت معقولة.

هل يمكن أن يقلل دمج المستشعرات الإنذارات الكاذبة؟

نعم، وهذا من أكثر الأسباب العملية لاستخدامه. فاشتراط اتفاق مستشعرين مستقلين يستبعد الإنذارات التي يسببها جهاز واحد معطل أو مرتبك، مقابل رصد أبطأ قليلًا، وفوات حدث بين الحين والآخر حين يرصد مستشعر واحد فقط شيئًا حقيقيًا. وتضبط هذه المفاضلة بعدد المصادر التي يجب أن تتفق وبطول النافذة الزمنية بين أحداثها.

لتجربة الدمج على مستوى القرار على باب حقيقي، أنشئ حسابًا مجانيًا في Kilo واقرن ملامس باب واحدًا بمستشعر حركة واحد في الممر الذي خلفه، تجمعهما قاعدة واحدة لا تُطلق إنذارًا إلا حين يبلغ كلاهما عن نشاط خارج ساعات العمل. وتتسع الخطة المجانية لمستشعرين وقاعدة واحدة، وهي لا تتطلب بيانات دفع ولا تنتهي صلاحيتها أبدًا. وهي تحتفظ بسجل يوم واحد للأجهزة، وهذا يكفي لمراجعة أحداث الليلة الماضية، بينما تعمل القاعدة وإنذارها مباشرة كما في كل خطة؛ وإذا أردت أسبوعًا من الليالي للمقارنة، فخطة Starter مقابل 25 يورو شهريًا تحتفظ بسجل أسبوع. وتوفر Kilo Electronics مستشعرات الأبواب والنوافذ لهذا النوع من الإعدادات، وتعمل المستشعرات المتوافقة من أي مورّد آخر بالطريقة نفسها.