Sensorfusion bedeutet, die Messwerte mehrerer Sensoren so zu kombinieren, dass das Ergebnis genauer, vollständiger oder verlässlicher ist als alles, was ein einzelner Sensor liefern könnte. Ihr Smartphone macht das, wenn eine Karten-App ermittelt, in welche Richtung Sie gerade schauen. Ein Auto macht es, wenn es Kamera und Radar zusammenführt, um den Abstand zum vorausfahrenden Fahrzeug einzuschätzen. Ein Saugroboter macht es, um herauszufinden, wo in Ihrem Wohnzimmer er sich befindet.

Die meisten Erklärungen hören bei der einzelnen Maschine auf. Es gibt aber eine zweite Variante, die für alle, die Gebäude oder Standorte betreiben, genauso wichtig ist: das Kombinieren von Ereignissen getrennter Sensoren, die über ein Stockwerk, ein Lager oder einen Campus verteilt sind. Die Mathematik sieht anders aus, das Prinzip dahinter lässt sich aber übertragen, und wer verstanden hat, wie die Fusion innerhalb eines Geräts funktioniert, kann die Fusion auf Standortebene viel leichter gut planen.

Kurz erklärt

  • Sensorfusion kombiniert mehrere unvollkommene Messungen zu einer Schätzung, der Sie mehr vertrauen können als jeder einzelnen davon.
  • Innerhalb einer einzelnen Maschine gewichten Algorithmen wie Komplementärfilter und Kalman-Filter jeden Sensor danach, wie stark er rauscht.
  • Fusion kann auf drei Ebenen stattfinden: bei den Rohdaten, bei extrahierten Merkmalen oder bei fertigen Entscheidungen.
  • Über ein Gebäude oder einen Standort hinweg macht die Fusion auf Entscheidungsebene aus einer sich öffnenden Tür, einer Bewegung im Flur und einem Kameraereignis ein einziges Ereignis, auf das eine Regel reagieren kann.

Wo wird Sensorfusion eingesetzt?

Sensorfusion kommt überall dort zum Einsatz, wo ein Sensor einen blinden Fleck hat, den ein anderer Sensor abdeckt, und das ist fast überall.

Smartphones und Wearables sind der häufigste Fall. Eine inertiale Messeinheit (IMU) kombiniert einen Beschleunigungssensor mit einem Gyroskop, und die meisten Smartphones haben zusätzlich ein Magnetometer, also einen digitalen Kompass. Der Beschleunigungssensor weiß, in welche Richtung die Schwerkraft zeigt, zittert aber bei jedem Schritt. Das Gyroskop misst Drehungen gleichmäßig, driftet aber, weil sich winzige Fehler aufsummieren, während es die Drehung über die Zeit integriert. Das Magnetometer liefert eine Kompassrichtung, kommt aber in der Nähe von Stahlträgern und Lautsprechern durcheinander. Fusioniert ergeben sie eine stabile Ausrichtung, die keiner von ihnen allein halten kann.

Autos kombinieren Kameras, Radar, Ultraschallsensoren und manchmal Lidar. Eine Kamera liest Fahrbahnmarkierungen und Verkehrsschilder, hat aber Probleme mit Blendung und Nebel. Radar misst Abstand und Geschwindigkeit auch bei schlechtem Wetter zuverlässig, hat aber eine grobe Auflösung und kann deshalb einen Fußgänger nur schwer von einem Pfosten unterscheiden. Lidar erstellt einen präzisen 3D-Umriss der Szene. Die Software des Fahrzeugs führt all diese Daten zu einem einzigen Bild seiner Umgebung zusammen.

Roboter und Drohnen verbinden Radencoder, IMUs, Kameras und Satellitenortung. Flugzeuge kombinieren schon seit Jahrzehnten Trägheitsnavigation mit Positionsbestimmungen per Funk und Satellit. Patientenmonitore, die die Herzfrequenz zusammen mit der Sauerstoffsättigung messen, und Industriemaschinen, die den Lagerverschleiß aus Vibration und Temperatur gemeinsam beurteilen, arbeiten nach demselben Prinzip. Jeder Sensor hat eine typische Schwäche, diese Schwächen überschneiden sich selten, und die Fusion nutzt die Stärke des einen Sensors, um die Lücke des anderen zu schließen.

Welche Algorithmen nutzt die Sensorfusion?

Algorithmen zur Sensorfusion sind die Regeln, nach denen entschieden wird, wie stark jedem Eingangssignal in jedem Moment zu trauen ist. Sie reichen von ein paar Zeilen Arithmetik bis zu probabilistischen Verfahren, die die Unsicherheit explizit mitführen.

Am einfachsten ist ein gewichteter Mittelwert. Zeigen zwei Thermometer im selben Raum 21,0 °C und 21,6 °C an und wissen Sie, dass das zweite doppelt so präzise ist, geben Sie ihm mehr Gewicht. Diese Intuition, der weniger verrauschten Quelle mehr zu vertrauen, zieht sich durch alle Verfahren, die danach kommen.

Der Komplementärfilter ist die klassische Wahl für die Ausrichtung. Er schickt das Gyroskopsignal durch einen Hochpass, der schnelle Änderungen behält und langsame Drift verwirft, und das Signal des Beschleunigungssensors durch einen Tiefpass, der die langfristige Richtung der Schwerkraft behält und das Zittern verwirft. Dann addiert er beides. Im Code ist das oft eine einzige Zeile nach dem Muster Winkel = 0,98 × (Winkel + Drehrate × dt) + 0,02 × Winkel des Beschleunigungssensors. Die 0,98 und 0,02 sind Einstellwerte, keine Naturkonstanten, und Hobbydrohnen und selbstbalancierende Roboter nutzen solche Filter, weil sie fast keine Rechenleistung kosten.

Partikelfilter kommen mit Situationen zurecht, in denen die Unsicherheit nicht in eine saubere Glockenkurve passt, etwa bei einem Roboter, der sich in einem von zwei identischen Gängen befinden könnte. Sie führen Tausende Vermutungen mit, sogenannte Partikel, gewichten jede danach, wie gut sie zu den neuesten Messungen passt, und ziehen die Partikel neu (Resampling), sodass unwahrscheinliche Vermutungen aussterben. Bayessche Netze und neuronale Netze, die auf Sensorrohdaten trainiert sind, finden sich in Software für autonomes Fahren und in der Forschung, wo von Hand eingestellte Gewichte an ihre Grenzen stoßen, sobald es Dutzende Eingänge gibt.

Der Algorithmus, dem Sie am häufigsten begegnen werden, ist aber der Kalman-Filter.

Wie funktioniert Sensorfusion mit dem Kalman-Filter?

Rudolf Kálmán veröffentlichte den Filter 1960, und bald darauf fand er seinen Weg in die Navigationscomputer des Apollo-Programms der NASA. Mehr als sechzig Jahre später ist er noch immer die Standardantwort auf die Frage, wie man eine Vorhersage mit einer verrauschten Messung kombiniert.

Der Filter läuft in einer Schleife aus zwei Schritten. Im Vorhersageschritt schätzt er mithilfe eines Modells, wie sich das System bewegt, den nächsten Zustand und dazu, wie unsicher diese Schätzung ist. Im Korrekturschritt trifft eine Messung ein, und der Filter verbindet Vorhersage und Messung, wobei er beide nach ihrer Unsicherheit gewichtet. Dann beginnt die Schleife von vorn.

Nehmen Sie einen Lieferroboter, mit erfundenen, aber plausiblen Zahlen. Er will wissen, wie weit er in einem Gang schon gefahren ist. Seine Radodometrie sagt einen Wert vorher, und ein Ortungs-Beacon an der Wand meldet einen anderen.

Quelle Schätzung Varianz (Unsicherheit)
Radodometrie (Vorhersage) 12,0 m 1,0 m²
Position vom Beacon (Messung) 10,0 m 4,0 m²
Fusionierte Schätzung 11,6 m 0,8 m²

Jede Quelle wird mit dem Kehrwert ihrer Varianz gewichtet. Die Odometrie erhält 1 / 1,0 = 1,0 und der Beacon 1 / 4,0 = 0,25. Die fusionierte Position beträgt (12,0 × 1,0 + 10,0 × 0,25) / 1,25 = 11,6 m und liegt damit näher an der zuverlässigeren Quelle. Die fusionierte Varianz beträgt 1 / 1,25 = 0,8 m² und ist kleiner als die jedes Eingangs. Durch die Kombination zweier unvollkommener Quellen ist sich der Roboter sicherer, als er es mit der besseren Quelle allein war.

In einem echten Filter umfasst der Zustand meist Position, Geschwindigkeit und oft auch die Ausrichtung. Aus den einzelnen Varianzen werden Kovarianzmatrizen, und eine Größe namens Kalman-Verstärkung übernimmt die Gewichtung bei jedem Schritt automatisch. Der erweiterte Kalman-Filter (EKF) und der Unscented-Kalman-Filter (UKF) passen das Verfahren an Systeme an, deren Bewegung nicht linear ist, und das trifft auf die meisten echten Roboter und Fahrzeuge zu.

Was ist Multisensorfusion?

Multisensorfusion bedeutet meist, mehr als zwei Sensoren zu kombinieren, oft unterschiedlicher Art, und sie erzwingt eine Designentscheidung darüber, an welcher Stelle der Verarbeitungskette kombiniert wird. Ingenieure unterscheiden dabei in der Regel drei Ebenen.

  1. Fusion auf Datenebene (Low-Level-Fusion) führt Rohsignale zusammen, bevor irgendetwas interpretiert wird, zum Beispiel indem Lidar-Punkte auf Kamerapixel projiziert werden, um eine einzige farbige 3D-Punktwolke zu erzeugen. Sie bewahrt die meisten Informationen, setzt aber voraus, dass die Sensoren eng synchronisiert und aufeinander kalibriert sind.
  2. Fusion auf Merkmalsebene (Mid-Level-Fusion) extrahiert zuerst Merkmale aus jedem Sensor, etwa Kanten aus einem Kamerabild und die Geschwindigkeit eines Objekts aus dem Radar, und führt dann die Merkmale zusammen.
  3. Fusion auf Entscheidungsebene (High-Level-Fusion) lässt jeden Sensor zu einer eigenen Schlussfolgerung kommen, etwa „Tür geöffnet“, „Bewegung erkannt“ oder „Bewegung im Bild“, und kombiniert dann diese Schlussfolgerungen.

Die Fusion auf Entscheidungsebene verzichtet auf einige Details, hat aber einen großen praktischen Vorteil. Die Sensoren brauchen weder millisekundengenau synchronisierte Uhren, noch müssen sie an derselben Leitung hängen oder vom selben Hersteller stammen. Jeder muss nur ein Ereignis und eine Uhrzeit melden. Genau das ist die Lage in einem echten Gebäude, in dem ein Türkontakt in einem Stockwerk, ein Bewegungsmelder in einem Flur und eine Kamera an der Laderampe in verschiedenen Jahren bei verschiedenen Anbietern gekauft wurden und über verschiedene Funktechniken kommunizieren.

Beispiele für Sensorfusion in Gebäuden

Nehmen Sie einen Alarm außerhalb der Geschäftszeiten in einem Lager. Ein magnetischer Türkontakt allein ist ein schwaches Signal. Wind kann an einer lockeren Tür rütteln, ein Kontakt kann sich verschieben, nachdem ein Gabelstapler gegen den Rahmen gestoßen ist, und ein Mitarbeiter mit Schlüssel kann einen guten Grund haben hereinzukommen. Ein passiver Infrarot-Bewegungsmelder (PIR) ist allein ebenfalls unzuverlässig. Er reagiert auf warme Objekte, die sich durch sein Sichtfeld bewegen, sodass ihn ein anspringendes Heizgerät oder ein Tier auslösen kann.

Kombiniert man sie, ändert sich das Bild. Öffnet sich eine Tür außerhalb der Arbeitszeit und folgt innerhalb einer Minute eine Bewegung im Flur dahinter, deutet das weit eher auf eine Person hin, die dort nichts zu suchen hat. Kommt noch die Bewegungserkennung einer Kamera hinzu, die denselben Flur erfasst, stimmen drei unabhängige Quellen überein. Das ist Fusion auf Entscheidungsebene: drei günstige, unvollkommene Sensoren, die zusammen ein einziges Ereignis liefern, für das es sich lohnt, jemanden zu wecken.

Dasselbe Muster hilft auch bei anderen Problemen. Ein Leckagesensor, der Wasser meldet, während ein Drucksensor an der Zuleitung einen Druckabfall zeigt, ist ein stärkeres Leckagesignal als jeder der beiden Messwerte allein. Ein Kühlraum, der sich erwärmt, während sein Türkontakt seit zehn Minuten offen ist, verrät Ihnen, warum die Temperatur gestiegen ist. Steigt das CO2 in einem Besprechungsraum, während ein Personenzähler null anzeigt, deutet das eher auf einen Lüftungsfehler hin als auf einen vollen Raum.

Was ist die beste Software für Multisensorfusion in Gebäuden?

Die Fusion innerhalb eines Geräts läuft dort, wo die Sensoren sind: im Bewegungschip eines Smartphones, im Fahrcomputer eines Autos oder in der Navigationssoftware eines Roboters. Die gebäudeweite Fusion braucht einen anderen Platz: eine zentrale Stelle, an die jeder Türkontakt, jeder Bewegungsmelder und jede Kamera des Standorts meldet, egal von welchem Hersteller und über welche Funktechnik, damit ihre Messwerte an einer Stelle gemeinsam geprüft werden können.

Für diese Aufgabe auf Entscheidungsebene ist Kilo die beste Wahl, weil es Geräte verschiedener Hersteller und Protokolle in einem System verbindet und Sie ihre Messwerte in einer einzigen Regel kombinieren können. Eine Regel in Kilo ist ein visueller Workflow, den Sie Schritt für Schritt zeichnen. Der Messwert des Türkontakts startet sie, und ein Schritt „Anreicherung“ holt im Moment der Ausführung den neuesten Messwert eines anderen Sensors, etwa des Bewegungsmelders im Flur. Der Bewegungsmesswert einer Kamera aus Kilo Lens funktioniert in einer Regel wie jeder andere Sensormesswert, sodass die Bedingung der Regel die neuesten Messwerte aus zwei oder drei Quellen prüfen kann, bevor irgendetwas passiert.

Gegen die Fehlalarme aus dem Lagerbeispiel helfen Zeiteinstellungen. Ist der Auslöser auf „Nur wenn es anhält“ eingestellt, muss die Tür für eine von Ihnen gewählte Dauer offen bleiben, von 10 Sekunden bis zu 30 Tagen, bevor die Regel startet; eine Tür, die bei einer Böe für eine Sekunde aufschwingt, wird also ignoriert. Ein Zeitplan aus Wochentagen und Von/Bis-Zeiten beschränkt die Regel auf die Stunden, in denen das Gebäude leer sein sollte.

Ist die kombinierte Bedingung erfüllt, löst die Regel einen Alarm aus, und die Eskalationskette des Alarms benachrichtigt sofort die erste Person in Bereitschaft und geht zur nächsten Person über, wenn niemand den Alarm rechtzeitig löst. E-Mail- und Push-Benachrichtigungen sind in jedem Tarif enthalten, SMS ist ein kostenpflichtiges Zusatzpaket. Derselbe Ansatz lässt sich auf Physical AI übertragen, bei der Kilo Sensoren, Roboter und andere kompatible Geräte verbindet, damit sie auf Basis eines gemeinsamen Kontexts handeln.

Häufige Fragen zur Sensorfusion

Ist Sensorfusion eine Form von KI?

Nicht unbedingt. Klassische Sensorfusion, darunter Kalman- und Komplementärfilter, ist Schätzmathematik, bei der nichts gelernt wird. Maschinelles Lernen kommt ins Spiel, wenn ein Modell darauf trainiert wird, Sensorrohdaten direkt zu kombinieren, was in der Forschung zum autonomen Fahren verbreitet ist; deshalb verbinden viele moderne Systeme beide Ansätze.

Was ist der Unterschied zwischen Sensorfusion und Datenfusion?

Datenfusion ist der weiter gefasste Begriff. Er umfasst das Kombinieren beliebiger Informationsquellen, darunter Datenbanken, Berichte und Beobachtungen von Menschen, nicht nur physikalischer Messungen. Sensorfusion ist der Teil der Datenfusion, der sich mit Sensormesswerten befasst, und das JDL-Datenfusionsmodell, das in den 1980er-Jahren für die Verteidigungsforschung der USA entwickelt wurde, ist für beide noch immer ein verbreiteter Bezugsrahmen.

Warum ist Zeitsynchronisation bei der Sensorfusion wichtig?

Ist ein Messwert 200 Millisekunden älter als ein anderer, hat sich ein schnell fahrendes Auto oder ein schneller Roboter bereits weiterbewegt, und der Filter verschmilzt zwei verschiedene Momente, als wären sie einer. Systeme, die Rohdaten mit hoher Geschwindigkeit fusionieren, synchronisieren ihre Sensoruhren oft per Hardware. Die Fusion auf Entscheidungsebene in einem Gebäude vergleicht Ereignisse über Sekunden oder Minuten und ist daher nachsichtiger, aber auch dort brauchen die Geräte vernünftige Zeiteinstellungen.

Kann Sensorfusion Fehlalarme reduzieren?

Ja, und das ist einer der praktischsten Gründe, sie einzusetzen. Müssen zwei unabhängige Sensoren übereinstimmen, fallen Alarme weg, die ein einzelnes defektes oder irritiertes Gerät verursacht. Der Preis dafür sind eine etwas langsamere Erkennung und gelegentlich ein verpasstes Ereignis, wenn nur ein Sensor etwas Echtes bemerkt. Diesen Kompromiss stellen Sie über die Zahl der Quellen ein, die übereinstimmen müssen, und über die Länge des Zeitfensters zwischen ihren Ereignissen.

Um Fusion auf Entscheidungsebene an einer echten Tür auszuprobieren, legen Sie ein kostenloses Kilo-Konto an und kombinieren einen Türkontakt mit einem Bewegungsmelder im Flur dahinter, verbunden in einer einzigen Regel, die nur dann einen Alarm auslöst, wenn beide außerhalb der Arbeitszeit Aktivität melden. Zwei Sensoren und eine Regel passen in den kostenlosen Tarif, der keine Zahlungsdaten braucht und nie abläuft. Er speichert einen Tag Gerätehistorie, genug, um auf die Ereignisse der letzten Nacht zurückzublicken, während die Regel und ihr Alarm wie in jedem Tarif live laufen; wenn Sie die Nächte einer ganzen Woche vergleichen möchten, speichert der Starter-Tarif für 25 € im Monat eine Woche. Kilo Electronics führt Tür- und Fenstersensoren für einen solchen Aufbau, und kompatible Sensoren jedes anderen Anbieters funktionieren genauso.