Im Internet der Dinge bedeutet Edge-KI, ein trainiertes KI-Modell direkt auf dem Gerät oder auf einem kleinen Rechner daneben auszuführen, statt Rohdaten zur Analyse an ein Rechenzentrum zu schicken. Eine Kamera, die eine Person erkennt, ohne irgendwohin Video zu streamen, ein Motorsensor, der ein ungewöhnliches Vibrationsmuster auf seinem eigenen Chip bemerkt, ein Mikrofon, das eine zerbrechende Fensterscheibe hört: Sie alle treffen ihre Entscheidung vor Ort und senden nur das Ergebnis weiter.
Dieser Ansatz löst echte Probleme mit Bandbreite, Verzögerung und Datenschutz. Er wirft aber auch eine Frage auf, die weniger Aufmerksamkeit bekommt als die Chips. Wenn ein Gerät entschieden hat „An der Laderampe ist eine Person“, wer muss das noch erfahren, und was soll als Nächstes passieren?
Kurz erklärt
- Edge-KI führt die Inferenz, also die Anwendung eines trainierten Modells, auf dem Gerät oder in seiner Nähe aus, während das Training meist weiterhin in der Cloud stattfindet.
- Sie punktet bei Latenz, Bandbreite und Datenschutz und verliert bei Modellgröße und einfachen Updates.
- Gute Anwendungsfälle folgen einem Muster: viele Rohdaten, eine schnelle Entscheidung vor Ort und ein kleines Ergebnis, das sich zu senden lohnt.
- Eine Erkennung am Edge wird weit nützlicher, wenn eine Plattform sie über Regeln mit Türen, Alarmen und anderen Geräten kombinieren kann.
Was ist Edge-KI?
Edge-KI ist künstliche Intelligenz, die dort läuft, wo Daten entstehen, also am „Rand“ (englisch Edge) des Netzwerks statt in einer zentralen Cloud. Was an den Edge wandert, ist die Inferenz: Ein bereits trainiertes Modell wird auf neue Daten angewendet, etwa auf ein einzelnes Kamerabild oder eine Sekunde Vibrationsmesswerte. Das Training eines Modells braucht große Datenmengen und viel Rechenleistung, deshalb findet es meist weiterhin in einem Rechenzentrum statt. Das fertige Modell wird anschließend verkleinert und auf das Gerät kopiert.
Das Verkleinern ist ein großer Teil des Handwerks. Ein mit 32-Bit-Zahlen trainiertes Modell lässt sich oft in 8-Bit-Ganzzahlen umwandeln. Dieser Schritt heißt Quantisierung, er verkleinert das Modell etwa um den Faktor vier und beschleunigt es auf einfachen Prozessoren bei nur geringem Genauigkeitsverlust. Beim Pruning werden Verbindungen entfernt, die wenig beitragen. Viele aktuelle Chips enthalten außerdem eine Neural Processing Unit (NPU), einen Siliziumblock, der genau für diese Art von Rechenoperationen gebaut ist und mit dem eine Kamera oder ein Gateway ein Erkennungsmodell bei einer Leistungsaufnahme von wenigen Watt ausführen kann.
Edge-KI-Geräte gibt es in sehr unterschiedlichen Größenordnungen. Am unteren Ende führen Mikrocontroller mit einigen Hundert Kilobyte Speicher winzige Modelle aus, die ein Aktivierungswort erkennen oder eine Vibration klassifizieren. In der Mitte stehen smarte Kameras, die die Objekterkennung an Bord erledigen. Am oberen Ende kann ein kompakter Rechner auf einem Regal im Technikraum mehrere Kameras oder Maschinen gleichzeitig bedienen. Gemeinsam ist ihnen eines: Sie machen aus schweren Rohdaten ein leichtes, aussagekräftiges Ereignis.
Es hilft, Edge-KI vom weiter gefassten Begriff Edge-Computing abzugrenzen. Edge-Computing bedeutet jede Verarbeitung nahe am Ort, an dem Daten entstehen: Messwerte filtern, Video komprimieren, einen lokalen Regelkreis betreiben. Edge-KI ist der Teil davon, bei dem die Verarbeitung aus einem trainierten Modell besteht, das ein Urteil fällt, etwa „Dieses Geräusch ist zerbrechendes Glas“ oder „Diese Vibration sieht nach einem verschlissenen Lager aus“. Ein Gateway, das zehn Temperaturwerte mittelt, betreibt Edge-Computing; eine Kamera, die einen Gabelstapler erkennt, betreibt Edge-KI.
Edge-KI vs. Cloud-KI
Edge-KI und Cloud-KI arbeiten meist in einem System zusammen, und jede ist in anderen Dingen besser:
| Edge-KI | Cloud-KI | |
|---|---|---|
| Reaktionszeit | Millisekunden, ohne Umweg über das Netzwerk | Hängt von der Verbindung ab, von Dutzenden bis Hunderten Millisekunden oder mehr |
| Bandbreite | Sendet nur Ergebnisse | Rohdaten müssen hochgeladen werden |
| Datenschutz | Rohbilder oder Audio können auf dem Gerät bleiben | Rohdaten verlassen den Standort |
| Modellgröße | Begrenzt durch Speicher und Energie des Geräts | Sehr große Modelle sind praktikabel |
| Updates | Jedes Gerät muss das neue Modell erhalten | Einmal aktualisiert, von allen genutzt |
| Funktioniert offline | Ja | Nein |
Die Zeile zur Bandbreite lässt sich leicht in Zahlen fassen. Eine 1080p-Kamera, die mit H.264 bei etwa 4 Megabit pro Sekunde kodiert, erzeugt rund 43 Gigabyte am Tag, wenn sie rund um die Uhr streamt. Zehn solcher Kameras, die alles zur Analyse in die Cloud senden, würden täglich über 400 Gigabyte durch die Internetanbindung des Standorts schieben. Führt jede Kamera die Erkennung stattdessen lokal aus und sendet jedes Mal, wenn sie eine Person sieht, eine kurze JSON-Nachricht von etwa 300 Byte, ergeben selbst 1.000 Erkennungen am Tag nur rund 300 Kilobyte pro Kamera.
Der Kompromiss zeigt sich darin, was jede Seite wissen kann. Die Kamera weiß, was in ihrem eigenen Bild ist, und sonst nichts. Die Cloud oder eine Plattform, die Ereignisse vieler Geräte sammelt, sieht den ganzen Standort, aber nur durch die Zusammenfassungen, die von den Edge-Geräten kommen. Die meisten gut durchdachten Systeme nutzen beides: Das Gerät entscheidet schnell, was es gesehen hat, und ein zentrales System entscheidet, was das angesichts alles anderen bedeutet, was gerade passiert.
Hybride Systeme teilen die Arbeit oft in Stufen auf. Das Gerät führt ein kleines, schnelles Modell aus, das fast alles Interessante erfasst und dafür einige Fehlalarme in Kauf nimmt. Nur die markierten Momente, ein kurzer Clip oder einige Sekunden Vibrationsdaten, gehen für eine zweite Meinung an ein größeres Modell in der Cloud. Die Anbindung des Standorts transportiert ein Rinnsal statt einer Flut, und das teure Modell sieht nur die schwierigen Fälle.
Updates werden von Teams gern unterschätzt. Eine Flotte von 300 Kameras kann am Ende drei verschiedene Modellversionen ausführen, wenn Updates auf einigen davon fehlschlagen. Jedes Ereignis sollte deshalb angeben, welche Modellversion es erzeugt hat, damit sich eine plötzliche Änderung der Erkennungszahlen auf ein Update zurückführen lässt statt auf eine Veränderung vor Ort.
Anwendungsfälle für Edge-KI im IoT
Die stärksten Anwendungsfälle für Edge-KI haben eine gemeinsame Form. Ein Sensor erzeugt viele Rohdaten, eine Entscheidung muss schnell oder vertraulich fallen, und das nützliche Ergebnis ist klein. Die folgenden Beispiele zeigen dieses Muster in verschiedenen Umgebungen; sie dienen der Veranschaulichung und sind keine vollständige Übersicht über das Feld.
Die Zustandsüberwachung von Maschinen ist ein klassischer Fall. Ein Vibrationssensor an einem Motor tastet tausende Male pro Sekunde ab. All das über eine stromsparende Funkverbindung zu senden, ist nicht praktikabel, deshalb lernt ein kleines Modell auf dem Sensor, wie normale Vibration aussieht, und meldet alle paar Minuten nur einen Kennwert oder einen Hinweis „Lagermuster verändert“.
Die visuelle Qualitätsprüfung an einer Fertigungslinie braucht Entscheidungen innerhalb von Sekundenbruchteilen, bevor das nächste Teil ankommt. Eine Kamera mit Modell an Bord kann ein falsch bedrucktes Etikett in Millisekunden aussortieren, wo ein Umweg über die Cloud das fehlerhafte Teil durchlassen würde.
Personenzählung und Belegungserfassung funktionieren am Edge aus Datenschutzgründen gut. Ein Sensor oder eine Kamera kann zählen, wie viele Personen in einem Raum sind, und nur die Zahl senden, sodass Bilder das Gerät nie verlassen. Teams im Gebäudemanagement bekommen die Informationen, die sie für Reinigung, Heizung und Flächenplanung brauchen, ohne Aufnahmen zu speichern.
Die Überwachung der Grundstücksgrenze ist der Fall, den die meisten vor Augen haben. Eine Kamera, die eine Person von einem schwankenden Ast oder einer vorbeilaufenden Katze unterscheiden kann, sendet weit weniger Fehlalarme als eine einfache Bewegungserkennung, und das ohne ständigen Videostream.
Landwirtschaftsbetriebe nutzen dieselbe Idee in anderem Maßstab: Kameras an Futterstellen oder Fallen klassifizieren Tiere oder Schädlinge, und solarbetriebene Geräte senden ein paar Ergebnisse am Tag über Langstreckenfunk.
Edge-KI lohnt sich nicht immer. Ein Temperatursensor, der alle 15 Minuten meldet, erzeugt einige Kilobyte am Tag, und ein einfacher Schwellenwert auf dem Server kommt damit bestens zurecht. Ein Modell auf dem Gerät bringt Kosten, Stromverbrauch und einen Update-Prozess ohne jeden Gewinn. Als Faustregel gilt: Intelligenz gehört nur dann an den Edge, wenn die Rohdaten zu groß, zu sensibel oder zu langsam zu übertragen sind.
Wie verbinden sich Edge-KI-Geräte mit der Cloud?
Viele Edge-KI-Geräte melden ihre Ergebnisse als kleine Nachrichten über ein Standardprotokoll, oft MQTT, ein schlankes Publish/Subscribe-Protokoll, das im IoT weit verbreitet ist. Das Gerät veröffentlicht etwa {"event": "person", "zone": "dock-2", "confidence": 0.91} auf einem Topic, und alles, was dieses Topic abonniert hat, empfängt die Nachricht. Manche Geräte senden stattdessen Webhooks oder nutzen die eigene Cloud des Herstellers, prüfen Sie also vor dem Kauf, welche Ausgaben ein Modell unterstützt.
Eine nützliche Ereignisnachricht enthält mehr als die erkannte Klasse. Geräte-ID, ein Zeitstempel von der Uhr des Geräts, der Konfidenzwert und die Modellversion helfen später alle weiter. Wählen Sie die Konfidenzschwelle mit Bedacht: Eine Schwelle von 0,5 erfasst mehr echte und mehr falsche Ereignisse, während 0,9 ruhiger ist, aber einige verpasst. Wird der Wert selbst gesendet statt nur ein Ja oder Nein, kann die Empfängerseite je nach Tageszeit eine andere Schwelle wählen, ohne die Kamera anzufassen.
Die Nachricht zu empfangen ist nur der erste Schritt. Ein Ereignis „Person erkannt“ an einer Laderampe bedeutet an einem Werktag um 14:00 Uhr etwas anderes als an einem Sonntag um 02:00 Uhr, und wieder etwas anderes, je nachdem, ob das Rampentor offen oder geschlossen ist. Um aus einer Erkennung eine sinnvolle Aktion zu machen, muss etwas sie mit dem Rest des Standorts kombinieren.
Genau dieses Kombinieren übernimmt eine Regel-Engine. In Kilo empfängt ein MQTT-Konnektor die Nachricht der Kamera und leitet sie an das richtige Gerät weiter, entweder anhand eines Topic-Musters oder anhand einer Geräte-ID, die aus den JSON-Nutzdaten gelesen wird. Eine Regel startet dann mit diesem Messwert, und ein Schritt „Anreicherung“ holt den aktuellen Zustand eines Funk-Türsensors an derselben Rampe, sodass eine einzige Regel beides auswerten kann.
Ist das Tor außerhalb der Arbeitszeit offen, kann dieselbe Regel einen kritischen Alarm auslösen, der die Bereitschaftsperson erreicht, und einen Befehl an eine Lichtsteuerung senden, die die Hofbeleuchtung einschaltet. Diese Logik zeichnen Sie einmal als Flussdiagramm in der Regel-Engine von Kilo, mit der Erkennung der Kamera und dem Zustand des Tors als ihren beiden Eingängen.
Die Kamera erledigt die schwere Pixelarbeit vor Ort, und die Plattform kümmert sich um Kontext, Menschen und Folgeaktionen. Keine Seite muss ersetzt werden, wenn sich die andere ändert, sodass sich ein besseres Erkennungsmodell im nächsten Jahr einfügen lässt, ohne die Regeln anzufassen, solange es weiterhin dieselbe Nachricht veröffentlicht.
Häufige Fragen zu Edge-KI im IoT
Braucht Edge-KI Internet?
Nein, die Inferenz läuft lokal, sodass ein Gerät auch dann weiter erkennt, wenn die Verbindung abbricht. Das Internet wird gebraucht, um Ergebnisse an andere Stellen zu liefern und Modell-Updates zu empfangen. Viele Geräte puffern ihre Ereignisse während eines Ausfalls und senden sie, sobald die Verbindung wieder steht.
Was ist TinyML bei Edge-KI?
TinyML ist der Zweig der Edge-KI, der Modelle auf Mikrocontrollern ausführt, also auf Chips, deren Speicher in Kilobyte und deren Leistungsaufnahme in Milliwatt gemessen wird. Frameworks wie TensorFlow Lite for Microcontrollers, heute Teil von Googles LiteRT, ermöglichen es, kleine Modelle für Aufgaben wie die Erkennung von Schlüsselwörtern oder Gesten lange Zeit mit Batteriestrom zu betreiben.
Was ist ein Beispiel für Edge-KI im Alltag?
Smartphones stecken voller Edge-KI. Entsperren per Gesichtserkennung, das Sortieren von Fotos auf dem Gerät und die Erkennung des Aktivierungsworts, die auf den Namen eines Sprachassistenten lauscht, laufen alle lokal auf dem Prozessor des Telefons, weshalb sie auch ohne Empfang funktionieren.
Das Laderampen-Szenario können Sie mit einem Türkontakt und einer Kamera durchspielen, die ihre Erkennungen über MQTT veröffentlicht. Kilo Electronics führt Tür- und Fenstersensoren, und zwei Geräte plus eine Regel, die einen Alarm auslöst, wenn bei offenem Tor eine Person erkannt wird, passen in den kostenlosen Tarif von Kilo, zusammen mit einem Dashboard, das beide Messwerte anzeigt.