Nell’Internet of Things, l’edge AI consiste nell’eseguire un modello di intelligenza artificiale già addestrato direttamente sul dispositivo, o su un piccolo computer accanto a esso, invece di inviare i dati grezzi a un data center per l’analisi. Una telecamera che riconosce una persona senza trasmettere video da nessuna parte, un sensore su un motore che individua un andamento anomalo delle vibrazioni con il proprio chip, un microfono che sente una finestra andare in frantumi: tutti prendono la decisione in locale e inviano soltanto il risultato.

Questa architettura risolve problemi concreti di banda, ritardi e privacy. Solleva però anche una domanda che riceve meno attenzione dei chip. Una volta che un dispositivo ha deciso “c’è una persona alla banchina di carico”, chi altro deve saperlo, e che cosa deve succedere dopo?

In breve

  • L’edge AI esegue l’inferenza, cioè l’applicazione di un modello addestrato, sul dispositivo o vicino a esso, mentre l’addestramento di solito avviene ancora nel cloud.
  • Vince su latenza, banda e privacy, e perde su dimensioni del modello e facilità di aggiornamento.
  • I casi d’uso migliori seguono uno schema comune: molti dati grezzi, una decisione locale rapida e un risultato piccolo che vale la pena inviare.
  • Un rilevamento all’edge diventa molto più utile quando una piattaforma può combinarlo con porte, allarmi e altri dispositivi attraverso delle regole.

Cos’è l’edge AI?

L’edge AI è un’intelligenza artificiale che viene eseguita dove i dati vengono prodotti, all’“edge”, cioè al margine della rete, anziché in un cloud centrale. Il lavoro che si sposta all’edge è l’inferenza: prendere un modello già addestrato e applicarlo a dati nuovi, come un singolo fotogramma di una telecamera o un secondo di letture di vibrazione. L’addestramento di un modello richiede grandi quantità di dati e di potenza di calcolo, quindi di solito avviene ancora in un data center. Il modello finito viene poi ridotto e copiato sul dispositivo.

La riduzione è una parte importante del mestiere. Un modello addestrato con numeri a 32 bit si può spesso convertire in interi a 8 bit, un passaggio chiamato quantizzazione, che ne riduce le dimensioni di circa quattro volte e lo rende più veloce sui processori semplici con una perdita di accuratezza solo piccola. La potatura della rete elimina le connessioni che contribuiscono poco. Molti chip attuali integrano anche un’unità di elaborazione neurale (NPU), un blocco di silicio progettato proprio per questo tipo di calcoli, che permette a una telecamera o a un gateway di eseguire un modello di rilevamento assorbendo pochi watt.

I dispositivi edge AI sono molto vari. Nella fascia più piccola, microcontrollori con qualche centinaio di kilobyte di memoria eseguono modelli minuscoli che riconoscono una parola di attivazione o classificano una vibrazione. Nella fascia intermedia, le telecamere intelligenti eseguono il rilevamento degli oggetti a bordo. Al vertice, un computer compatto su uno scaffale del locale tecnico può servire più telecamere o macchine contemporaneamente. Tutti hanno una caratteristica in comune: trasformano dati grezzi pesanti in un evento leggero e significativo.

Conviene distinguere l’edge AI dal termine più ampio edge computing. Edge computing significa svolgere qualsiasi elaborazione vicino al punto in cui i dati vengono prodotti: filtrare letture, comprimere video, eseguire un anello di controllo locale. L’edge AI è la parte in cui l’elaborazione è un modello addestrato che esprime un giudizio, come “questo suono è vetro che si rompe” o “questa vibrazione sembra quella di un cuscinetto usurato”. Un gateway che fa la media di dieci letture di temperatura sta facendo edge computing; una telecamera che riconosce un carrello elevatore sta facendo edge AI.

Differenza tra edge AI e cloud AI

L’edge AI e la cloud AI di solito lavorano insieme nello stesso sistema, e ciascuna riesce meglio in cose diverse:

Edge AI Cloud AI
Tempo di risposta Millisecondi, senza andata e ritorno in rete Dipende dalla connessione, da decine a centinaia di millisecondi o più
Banda Invia solo i risultati Richiede il caricamento dei dati grezzi
Privacy Immagini o audio grezzi possono restare sul dispositivo I dati grezzi lasciano il sito
Dimensioni del modello Limitate da memoria e consumi del dispositivo Anche modelli molto grandi sono praticabili
Aggiornamenti A ogni dispositivo va consegnato il nuovo modello Si aggiorna una volta e lo usano tutti
Funziona offline Sì No

La riga sulla banda è facile da tradurre in numeri. Una telecamera 1080p che codifica in H.264 a circa 4 megabit al secondo genera all’incirca 43 gigabyte al giorno se trasmette senza interruzioni. Dieci telecamere di questo tipo che inviano tutto al cloud per l’analisi farebbero passare oltre 400 gigabyte al giorno attraverso la connessione del sito. Se invece ogni telecamera esegue il rilevamento in locale e invia un breve messaggio JSON, diciamo di 300 byte, ogni volta che vede una persona, anche 1.000 rilevamenti al giorno arrivano a circa 300 kilobyte per telecamera.

Il compromesso emerge in ciò che ciascuna parte può sapere. La telecamera sa che cosa c’è nella propria inquadratura e nient’altro. Il cloud, o una piattaforma che raccoglie eventi da molti dispositivi, vede l’intero sito, ma solo attraverso i riepiloghi che l’edge invia. La maggior parte dei buoni progetti mantiene entrambi: il dispositivo decide rapidamente che cosa ha visto, e un sistema centrale decide che cosa significa alla luce di tutto il resto che sta succedendo.

Le configurazioni ibride spesso dividono il lavoro in fasi. Il dispositivo esegue un modello piccolo e veloce che intercetta quasi tutto ciò che è interessante, accettando qualche falso allarme. Solo i momenti segnalati, una breve clip o pochi secondi di dati di vibrazione, passano a un modello più grande nel cloud per un secondo parere. La connessione del sito trasporta un rivolo invece di un’alluvione, e il modello costoso vede solo i casi difficili.

I team tendono a sottovalutare gli aggiornamenti. Una flotta di 300 telecamere può finire per eseguire tre versioni diverse del modello se su alcune gli aggiornamenti non vanno a buon fine. Ogni evento dovrebbe quindi indicare quale versione del modello lo ha prodotto, così che un cambiamento improvviso nel numero di rilevamenti si possa ricondurre a un aggiornamento anziché a un cambiamento sul sito.

Casi d’uso dell’edge AI nell’IoT

I casi d’uso più solidi dell’edge AI hanno una forma comune. Un sensore produce molti dati grezzi, una decisione deve essere rapida o riservata, e il risultato utile è piccolo. Gli esempi qui sotto mostrano questo schema in contesti diversi; sono illustrazioni, non una mappa completa del settore.

Il monitoraggio delle condizioni delle macchine è un caso classico. Un sensore di vibrazione su un motore campiona migliaia di volte al secondo. Inviare tutti quei dati tramite una radio a basso consumo non è pratico, quindi un piccolo modello sul sensore impara che aspetto ha una vibrazione normale e segnala soltanto un punteggio o un indicatore “firma del cuscinetto cambiata” a intervalli di qualche minuto.

L’ispezione visiva della qualità su una linea di produzione richiede decisioni in una frazione di secondo, prima che arrivi il pezzo successivo. Una telecamera con un modello a bordo può scartare un’etichetta stampata male in pochi millisecondi, mentre con un’andata e ritorno verso il cloud il pezzo difettoso passerebbe.

Il conteggio delle persone e il rilevamento dell’occupazione funzionano bene all’edge per motivi di privacy. Un sensore o una telecamera può contare quante persone ci sono in una stanza e inviare solo il numero, così le immagini non lasciano mai il dispositivo. I team di facility management ottengono le informazioni che servono per pulizie, riscaldamento e pianificazione degli spazi senza archiviare filmati.

Il rilevamento di sicurezza sul perimetro è il caso che la maggior parte delle persone si immagina. Una telecamera in grado di distinguere una persona da un ramo che ondeggia o da un gatto di passaggio invia molti meno falsi avvisi di un semplice rilevamento del movimento, e lo fa senza un flusso video costante.

Le aziende agricole applicano la stessa idea su un’altra scala: telecamere alle mangiatoie o alle trappole classificano animali o parassiti, e dispositivi alimentati a energia solare inviano una manciata di risultati al giorno tramite radio a lungo raggio.

L’edge AI non conviene sempre. Un sensore di temperatura che invia dati ogni 15 minuti produce pochi kilobyte al giorno, e una semplice soglia sul server lo gestisce perfettamente. Un modello sul dispositivo aggiunge costi, consumi e un processo di aggiornamento senza alcun vantaggio. La regola pratica è portare l’intelligenza all’edge solo quando i dati grezzi sono troppo pesanti, troppo sensibili o troppo lenti da inviare.

Come si collegano al cloud i dispositivi edge AI?

Molti dispositivi edge AI comunicano i propri risultati come piccoli messaggi tramite un protocollo standard, spesso MQTT, un protocollo publish/subscribe leggero e molto diffuso nell’IoT. Il dispositivo pubblica qualcosa come {"event": "person", "zone": "dock-2", "confidence": 0.91} su un topic, e qualunque sistema sia iscritto a quel topic lo riceve. Alcuni dispositivi inviano invece webhook o usano il cloud del proprio produttore, quindi prima dell’acquisto conviene verificare quali uscite supporta un determinato modello.

Un messaggio di evento utile contiene più della semplice etichetta. L’ID del dispositivo, un timestamp preso dall’orologio del dispositivo, il punteggio di confidenza e la versione del modello tornano tutti utili in seguito. La soglia di confidenza va scelta con cura: una soglia di 0,5 intercetta più eventi reali e più eventi falsi, mentre 0,9 è più silenziosa ma ne perde alcuni. Inviare il punteggio in sé, anziché solo un sì o un no, permette al lato ricevente di scegliere una soglia diversa a seconda dell’ora del giorno senza toccare la telecamera.

Ricevere il messaggio è solo il primo passo. Un evento “persona rilevata” in una banchina di carico significa cose diverse alle 14:00 di un giorno feriale e alle 02:00 di una domenica, e cose diverse ancora a seconda che il portone della banchina sia aperto o chiuso. Per trasformare un rilevamento in un’azione sensata, qualcosa deve combinarlo con il resto del sito.

Questa combinazione è il compito di un motore di regole. In Kilo, un connettore MQTT riceve il messaggio della telecamera e lo instrada verso il dispositivo giusto, in base a uno schema di topic oppure a un ID dispositivo letto dal payload JSON. Una regola parte quindi da quella lettura, e un passaggio Enrichment recupera lo stato più recente di un sensore porta wireless sulla stessa banchina, così una sola regola può ragionare su entrambi.

Se la porta è aperta fuori dall’orario di lavoro, la stessa regola può generare un allarme critico che raggiunge la persona reperibile e inviare un comando a un controller dell’illuminazione che accende le luci del piazzale. Questa logica si disegna una sola volta come diagramma di flusso nel motore di regole di Kilo, con il rilevamento della telecamera e lo stato della porta come due ingressi.

La telecamera svolge in locale il lavoro pesante sui pixel, e la piattaforma gestisce il contesto, le persone e le azioni successive. Nessuna delle due va sostituita quando l’altra cambia, quindi un modello di rilevamento migliore l’anno prossimo si inserisce senza toccare le regole, purché continui a pubblicare lo stesso messaggio.

Edge AI nell’IoT: domande frequenti

L’edge AI ha bisogno di internet?

No, l’inferenza avviene in locale, quindi un dispositivo continua a rilevare anche quando la connessione cade. Internet serve per consegnare i risultati altrove e per ricevere gli aggiornamenti del modello. Molti dispositivi conservano gli eventi in memoria durante un’interruzione e li inviano quando il collegamento torna disponibile.

Cos’è il TinyML nell’edge AI?

Il TinyML è il ramo dell’edge AI che esegue modelli sui microcontrollori, chip con una memoria misurata in kilobyte e consumi misurati in milliwatt. Framework come TensorFlow Lite for Microcontrollers, oggi parte di LiteRT di Google, permettono di eseguire piccoli modelli per compiti come il riconoscimento di parole chiave o di gesti, alimentati a batteria per lunghi periodi.

Qual è un esempio di edge AI nella vita quotidiana?

Gli smartphone ne sono pieni. Lo sblocco con il volto, l’organizzazione delle foto sul dispositivo e il rilevamento della parola di attivazione che resta in ascolto del nome di un assistente vocale funzionano tutti in locale sul processore del telefono, ed è per questo che continuano a funzionare anche senza segnale.

Lo scenario della banchina si può provare con un contatto porta e una telecamera che pubblica i propri rilevamenti tramite MQTT. Kilo Electronics vende sensori per porte e finestre, e due dispositivi più una regola che genera un allarme quando viene rilevata una persona mentre la porta è aperta rientrano nel piano gratuito di Kilo, insieme a una dashboard che mostra entrambe le letture.