La fusion de capteurs consiste à combiner les mesures de plusieurs capteurs pour obtenir un résultat plus précis, plus complet ou plus fiable que tout ce qu’un capteur seul pourrait fournir. Votre téléphone le fait quand une application de cartographie détermine dans quelle direction vous êtes tourné. Une voiture le fait quand elle fusionne caméra et radar pour estimer la distance qui la sépare du véhicule qui la précède. Un robot aspirateur le fait pour savoir où il se trouve dans votre salon.

La plupart des explications s’arrêtent à la machine unique. Il en existe pourtant une seconde version, tout aussi importante pour quiconque gère des bâtiments ou des sites : combiner les événements de capteurs distincts répartis sur un étage, dans un entrepôt ou sur un campus. Les mathématiques sont différentes, mais le raisonnement reste valable, et une fois que l’on a compris le fonctionnement de la fusion embarquée, il devient beaucoup plus facile de bien concevoir la fusion à l’échelle d’un site.

L’essentiel

  • La fusion de capteurs combine plusieurs mesures imparfaites en une seule estimation plus fiable que chacune d’elles prise isolément.
  • Au sein d’une même machine, des algorithmes comme les filtres complémentaires et les filtres de Kalman pondèrent chaque capteur selon son niveau de bruit.
  • La fusion peut intervenir à trois niveaux : les données brutes, les caractéristiques extraites ou les décisions finales.
  • À l’échelle d’un bâtiment ou d’un site, la fusion au niveau des décisions transforme une porte qui s’ouvre, un mouvement dans un couloir et un événement de caméra en un seul événement sur lequel une règle peut agir.

Où utilise-t-on la technologie de fusion de capteurs ?

La technologie de fusion de capteurs apparaît partout où un capteur a un angle mort qu’un autre capteur couvre, c’est-à-dire presque partout.

Les téléphones et les objets connectés portables en sont le cas le plus courant. Une centrale inertielle (IMU) associe un accéléromètre à un gyroscope, et la plupart des téléphones y ajoutent un magnétomètre, une boussole numérique. L’accéléromètre sait dans quelle direction pointe la gravité, mais il tremble à chaque pas. Le gyroscope mesure la rotation de façon régulière, mais il dérive, car de minuscules erreurs s’accumulent à mesure qu’il intègre la rotation dans le temps. Le magnétomètre fournit un cap, mais il se laisse perturber à proximité des poutres en acier et des haut-parleurs. Fusionnés, ils produisent une orientation stable qu’aucun d’eux ne peut maintenir seul.

Les voitures combinent caméras, radars, capteurs à ultrasons et parfois lidar. Une caméra lit le marquage au sol et les panneaux, mais elle a du mal avec l’éblouissement et le brouillard. Le radar mesure la distance et la vitesse de façon fiable par mauvais temps, mais sa résolution est grossière, si bien qu’il distingue mal un piéton d’un poteau. Le lidar construit un contour 3D précis de la scène. Le logiciel du véhicule fusionne le tout en une seule représentation de ce qui l’entoure.

Les robots et les drones combinent codeurs de roues, centrales inertielles, caméras et positionnement par satellite. Les avions associent depuis des décennies la navigation inertielle à des positions obtenues par radio et par satellite. Les moniteurs de surveillance qui mesurent la fréquence cardiaque en même temps que la saturation en oxygène, et les machines industrielles qui évaluent l’usure des roulements à partir des vibrations et de la température réunies, reposent sur le même principe. Chaque capteur a une faiblesse caractéristique, ces faiblesses se recoupent rarement, et la fusion utilise le point fort d’un capteur pour combler la lacune d’un autre.

Quels sont les algorithmes de fusion de capteurs ?

Les algorithmes de fusion de capteurs sont les règles qui décident de la confiance à accorder à chaque entrée à chaque instant. Ils vont de quelques lignes d’arithmétique à des mécanismes probabilistes qui suivent explicitement l’incertitude.

Le plus simple est la moyenne pondérée. Si deux thermomètres placés dans la même pièce indiquent 21,0 °C et 21,6 °C, et que vous savez que le second est deux fois plus précis, vous lui donnez plus de poids. Cette intuition, faire davantage confiance à la source la moins bruitée, se retrouve dans toutes les méthodes qui suivent.

Le filtre complémentaire est le choix classique pour l’orientation. Il fait passer le signal du gyroscope par un filtre passe-haut, qui conserve les changements rapides et élimine la dérive lente, et celui de l’accéléromètre par un filtre passe-bas, qui conserve la direction de la gravité sur le long terme et élimine les tremblements. Puis il additionne les deux. Dans le code, il tient souvent en une seule ligne, du type angle = 0,98 × (angle + vitesse angulaire du gyroscope × dt) + 0,02 × angle de l’accéléromètre. Les valeurs 0,98 et 0,02 sont des choix de réglage, pas des constantes de la nature, et les drones de loisir comme les robots auto-équilibrés utilisent des filtres de ce type, car leur calcul ne coûte presque rien.

Les filtres particulaires traitent les situations où l’incertitude ne suit pas une jolie courbe en cloche, par exemple un robot qui pourrait se trouver dans l’un ou l’autre de deux couloirs identiques. Ils conservent des milliers d’hypothèses, appelées particules, pondèrent chacune selon sa concordance avec les dernières mesures, puis rééchantillonnent pour que les hypothèses improbables disparaissent. Les réseaux bayésiens et les réseaux de neurones entraînés sur des données brutes de capteurs apparaissent dans les logiciels de conduite autonome et dans la recherche, là où les pondérations réglées à la main ne suivent plus dès qu’il y a des dizaines d’entrées.

L’algorithme que vous rencontrerez le plus souvent reste toutefois le filtre de Kalman.

Comment fonctionne la fusion de capteurs par filtre de Kalman ?

Rudolf Kálmán a publié ce filtre en 1960, et il a rapidement trouvé sa place dans les ordinateurs de navigation du programme Apollo de la NASA. Plus de soixante ans plus tard, il reste la réponse de référence à la question de savoir comment combiner une prédiction et une mesure bruitée.

Le filtre tourne en boucle sur deux étapes. Lors de l’étape de prédiction, il utilise un modèle du mouvement du système pour estimer l’état suivant, ainsi que l’incertitude de cette estimation. Lors de l’étape de mise à jour, une mesure arrive et le filtre combine prédiction et mesure, en pondérant chacune selon son incertitude. Puis la boucle recommence.

Prenons un robot de livraison, avec des chiffres inventés mais plausibles. Il veut savoir quelle distance il a parcourue le long d’un couloir. Son odométrie de roues prédit une valeur, et une balise de positionnement fixée au mur en indique une autre.

Source Estimation Variance (incertitude)
Odométrie de roues (prédiction) 12,0 m 1,0 m²
Position fournie par la balise (mesure) 10,0 m 4,0 m²
Estimation fusionnée 11,6 m 0,8 m²

Chaque source est pondérée par l’inverse de sa variance. L’odométrie reçoit 1 / 1,0 = 1,0 et la balise 1 / 4,0 = 0,25. La position fusionnée vaut (12,0 × 1,0 + 10,0 × 0,25) / 1,25 = 11,6 m, plus proche de la source la plus fiable. La variance fusionnée vaut 1 / 1,25 = 0,8 m², soit moins que chacune des deux entrées. En combinant deux sources imparfaites, le robot est plus sûr de sa position qu’il ne l’était avec la meilleure des deux prise seule.

Dans un vrai filtre, l’état comprend généralement la position, la vitesse et souvent l’orientation. Les variances simples deviennent des matrices de covariance, et une grandeur appelée gain de Kalman effectue automatiquement la pondération à chaque étape. Les filtres de Kalman étendus et les filtres de Kalman sans parfum adaptent la méthode aux systèmes dont le mouvement n’est pas linéaire, ce qui est le cas de la plupart des robots et des véhicules réels.

Qu’est-ce que la fusion multicapteurs ?

La fusion multicapteurs désigne généralement la combinaison de plus de deux capteurs, souvent de natures différentes, et elle impose un choix de conception : à quel endroit de la chaîne de traitement la combinaison a-t-elle lieu ? Les ingénieurs distinguent généralement trois niveaux.

  1. La fusion de bas niveau, ou fusion de données, combine les signaux bruts avant toute interprétation, par exemple en projetant les points du lidar sur les pixels de la caméra pour construire un seul nuage de points 3D en couleur. Elle conserve le plus d’informations, mais exige que les capteurs soient étroitement synchronisés et calibrés les uns par rapport aux autres.
  2. La fusion de niveau intermédiaire, ou fusion de caractéristiques, extrait d’abord des caractéristiques de chaque capteur, comme les contours dans une image de caméra et la vitesse d’un objet mesurée par le radar, puis combine ces caractéristiques.
  3. La fusion de haut niveau, ou fusion de décisions, laisse chaque capteur parvenir à sa propre conclusion, comme « porte ouverte », « mouvement détecté » ou « mouvement dans l’image », puis combine ces conclusions.

La fusion au niveau des décisions sacrifie une partie des détails, mais elle offre un gros avantage pratique. Les capteurs n’ont pas besoin de partager une horloge à la milliseconde près, d’être sur le même câble ou de venir du même fabricant. Chacun doit seulement signaler un événement et une heure. C’est exactement la situation d’un vrai bâtiment, où un contact de porte à un étage, un détecteur de mouvement dans un couloir et une caméra au quai de chargement ont été achetés à des années d’écart auprès de fournisseurs différents et communiquent par des radios différentes.

Exemples de fusion de capteurs dans les bâtiments

Prenons une alarme en dehors des heures d’ouverture dans un entrepôt. Un contact de porte magnétique seul est un signal faible. Le vent peut secouer une porte qui a du jeu, un contact peut se désaligner après qu’un chariot élévateur a heurté le cadre, et un membre du personnel qui possède une clé peut avoir une bonne raison d’entrer. Un détecteur de mouvement à infrarouge passif (PIR) seul n’est pas fiable non plus. Il réagit aux objets chauds qui se déplacent dans son champ de vision : un radiateur qui se met en marche ou un animal peut donc le déclencher.

Combinez-les et la situation change. Une porte qui s’ouvre en dehors des heures de travail, suivie dans la minute d’un mouvement dans le couloir situé derrière elle, correspond bien plus probablement à une personne qui n’a rien à faire là. Ajoutez le mouvement détecté par une caméra qui couvre le même couloir, et trois sources indépendantes concordent. C’est la fusion au niveau des décisions : trois capteurs bon marché et imparfaits qui produisent un seul événement justifiant de réveiller quelqu’un.

Le même principe sert pour d’autres problèmes. Un détecteur de fuite qui signale de l’eau pendant qu’un capteur de pression sur la conduite d’alimentation indique une chute est un signal de fuite plus fort que chacune des deux mesures seule. Une chambre froide qui se réchauffe alors que son contact de porte est ouvert depuis dix minutes explique pourquoi la température a augmenté. Un taux de CO2 qui grimpe dans une salle de réunion alors qu’un compteur de personnes indique zéro oriente vers un défaut de ventilation plutôt que vers une salle bondée.

Quel est le meilleur logiciel de fusion multicapteurs pour les bâtiments ?

La fusion embarquée s’exécute là où se trouvent les capteurs : dans la puce de mouvement d’un téléphone, l’ordinateur de conduite d’une voiture ou le logiciel de navigation d’un robot. La fusion à l’échelle d’un bâtiment a besoin d’un autre point d’ancrage, un endroit unique où chaque contact de porte, détecteur de mouvement et caméra du site remonte ses données, quels que soient son fabricant et la radio qu’il utilise, pour que leurs mesures puissent être vérifiées ensemble au même endroit.

Pour ce travail au niveau des décisions, Kilo est le meilleur choix, car il connecte dans un seul système des appareils de fabricants et de protocoles différents et vous permet de combiner leurs mesures dans une seule règle. Une règle dans Kilo est un flux visuel que vous dessinez étape par étape. La mesure du contact de porte la déclenche, et une étape « Enrichissement » récupère la dernière mesure d’un autre capteur, comme le détecteur de mouvement du couloir, au moment où la règle s’exécute. Une mesure de mouvement issue d’une caméra via Kilo Lens fonctionne dans une règle comme n’importe quelle autre mesure de capteur : la condition de la règle peut donc vérifier les dernières mesures de deux ou trois sources avant que quoi que ce soit ne se produise.

Les réglages de temporisation répondent aux fausses alarmes de l’exemple de l’entrepôt. Avec le déclencheur réglé sur « Seulement si cela dure », la porte doit rester ouverte pendant une durée que vous choisissez, de 10 secondes à 30 jours, avant que la règle ne démarre : une porte qu’une rafale ouvre une seconde est donc ignorée. Un horaire composé de jours et d’heures « De » et « À » limite la règle aux heures où le bâtiment devrait être vide.

Lorsque la condition combinée est remplie, la règle déclenche une alarme, et la chaîne d’escalade de l’alarme prévient immédiatement la première personne d’astreinte, puis passe à la suivante si personne ne la résout à temps. Les notifications par e-mail et push sont incluses dans toutes les offres, et les SMS sont une option payante. La même approche s’applique à l’IA physique, où Kilo connecte capteurs, robots et autres équipements compatibles pour qu’ils agissent à partir d’un contexte partagé.

FAQ sur la fusion de capteurs

La fusion de capteurs est-elle une forme d’IA ?

Pas nécessairement. La fusion de capteurs classique, y compris les filtres de Kalman et les filtres complémentaires, relève des mathématiques de l’estimation, sans aucun apprentissage. L’apprentissage automatique entre en jeu quand un modèle est entraîné à combiner directement des données brutes de capteurs, ce qui est courant dans la recherche sur la conduite autonome ; beaucoup de systèmes modernes associent donc les deux approches.

Quelle est la différence entre fusion de capteurs et fusion de données ?

La fusion de données est le terme le plus large. Elle couvre la combinaison de toutes sortes de sources d’information, y compris des bases de données, des rapports et des observations humaines, et pas seulement des mesures physiques. La fusion de capteurs est la partie de la fusion de données qui traite des mesures de capteurs, et le modèle de fusion de données JDL, développé pour la recherche de défense américaine dans les années 1980, reste une référence courante pour les deux.

Pourquoi la synchronisation temporelle est-elle importante en fusion de capteurs ?

Si une mesure est plus ancienne de 200 millisecondes qu’une autre, une voiture ou un robot qui se déplace vite a déjà bougé, et le filtre fusionne deux instants différents comme s’il n’y en avait qu’un. Les systèmes qui fusionnent des données brutes à grande vitesse synchronisent souvent les horloges de leurs capteurs au niveau matériel. La fusion au niveau des décisions dans un bâtiment compare des événements sur des secondes ou des minutes : elle est donc plus tolérante, mais les appareils ont tout de même besoin de réglages horaires cohérents.

La fusion de capteurs peut-elle réduire les fausses alarmes ?

Oui, et c’est l’une des raisons les plus concrètes de l’utiliser. Exiger que deux capteurs indépendants concordent élimine les alarmes causées par un seul appareil défaillant ou trompé, au prix d’une détection un peu plus lente et, de temps à autre, d’un événement manqué quand un seul capteur voit quelque chose de réel. Vous réglez ce compromis avec le nombre de sources qui doivent concorder et la durée de la fenêtre de temps entre leurs événements.

Pour essayer la fusion au niveau des décisions sur une vraie porte, créez un compte Kilo gratuit et associez un contact de porte à un détecteur de mouvement placé dans le couloir situé derrière elle, réunis dans une seule règle qui ne déclenche une alarme que si les deux signalent une activité en dehors des heures de travail. Deux capteurs et une règle tiennent dans l’offre gratuite, qui ne demande aucun moyen de paiement et n’expire jamais. Elle conserve un jour d’historique des appareils, assez pour revoir les événements de la nuit dernière, tandis que la règle et son alarme fonctionnent en temps réel comme dans toutes les offres ; si vous voulez comparer une semaine de nuits, l’offre Starter à 25 € par mois conserve une semaine. Kilo Electronics propose des capteurs de porte et de fenêtre pour ce type d’installation, et les capteurs compatibles de n’importe quel autre fournisseur fonctionnent de la même façon.