Fusão de sensores é a prática de combinar leituras de vários sensores para que o resultado seja mais preciso, mais completo ou mais confiável do que qualquer coisa que um único sensor conseguiria oferecer. O seu celular faz isso quando um aplicativo de mapas descobre para que lado você está virado. Um carro faz isso quando junta câmera e radar para avaliar a distância até o veículo da frente. Um robô aspirador faz isso para descobrir onde está na sua sala.

A maioria das explicações para na máquina individual. Existe uma segunda versão, que importa tanto quanto a primeira para quem administra edifícios ou instalações: combinar eventos de sensores separados, espalhados por um andar, um armazém ou um campus. A matemática é diferente, mas o raciocínio continua valendo, e, depois que você entende como funciona a fusão embarcada, fica muito mais fácil projetar bem a fusão no nível da instalação.

O essencial

  • A fusão de sensores combina várias medições imperfeitas em uma única estimativa, na qual você pode confiar mais do que em qualquer uma delas isoladamente.
  • Dentro de uma única máquina, algoritmos como filtros complementares e filtros de Kalman dão a cada sensor um peso de acordo com o quanto ele é ruidoso.
  • A fusão pode acontecer em três níveis: dados brutos, características extraídas ou decisões já tomadas.
  • Em um edifício ou em uma instalação inteira, a fusão no nível de decisão transforma uma porta que se abre, um movimento em um corredor e um evento de câmera em um único evento sobre o qual uma regra pode agir.

Onde a tecnologia de fusão de sensores é usada?

A tecnologia de fusão de sensores aparece onde quer que um sensor tenha um ponto cego que outro sensor cobre, ou seja, em quase todo lugar.

Celulares e dispositivos vestíveis são o caso mais comum. Uma unidade de medição inercial (IMU) combina um acelerômetro com um giroscópio, e a maioria dos celulares acrescenta a eles um magnetômetro, uma bússola digital. O acelerômetro sabe para que lado a gravidade aponta, mas treme a cada passo. O giroscópio mede a rotação de forma suave, mas sofre deriva, porque pequenos erros se acumulam à medida que ele integra a rotação ao longo do tempo. O magnetômetro dá a direção da bússola, mas se confunde perto de vigas de aço e alto-falantes. Combinados, eles produzem uma orientação estável que nenhum deles consegue manter sozinho.

Os carros combinam câmeras, radar, sensores ultrassônicos e, às vezes, lidar. Uma câmera lê as marcações de faixa e as placas, mas tem dificuldade com ofuscamento e neblina. O radar mede distância e velocidade de forma confiável com tempo ruim, mas tem resolução grosseira, então tem dificuldade para distinguir um pedestre de um poste. O lidar monta um contorno 3D preciso da cena. O software do veículo junta todos eles em uma única visão do que está ao redor.

Robôs e drones combinam encoders das rodas, IMUs, câmeras e posicionamento por satélite. Há décadas as aeronaves combinam navegação inercial com posições obtidas por rádio e por satélite. Monitores de pacientes que leem a frequência cardíaca junto com a oxigenação do sangue, e máquinas industriais que avaliam o desgaste de rolamentos pela vibração e pela temperatura em conjunto, funcionam pelo mesmo princípio. Cada sensor tem uma fraqueza característica, essas fraquezas raramente se sobrepõem, e a fusão usa o ponto forte de um sensor para cobrir a lacuna de outro.

Quais são os algoritmos de fusão de sensores?

Os algoritmos de fusão de sensores são as regras que decidem quanto confiar em cada entrada a cada momento. Eles vão de algumas linhas de aritmética a mecanismos probabilísticos que acompanham a incerteza de forma explícita.

O mais simples é a média ponderada. Se dois termômetros na mesma sala marcam 21,0 °C e 21,6 °C, e você sabe que o segundo é duas vezes mais preciso, você dá mais peso a ele. Essa intuição, de confiar mais na fonte menos ruidosa, atravessa todos os métodos que vêm a seguir.

O filtro complementar é a escolha clássica para a orientação. Ele passa o giroscópio por um filtro passa-altas, que mantém as mudanças rápidas e descarta a deriva lenta, e o acelerômetro por um filtro passa-baixas, que mantém a direção da gravidade no longo prazo e descarta o tremor. Depois, soma os dois. Em código, muitas vezes é uma única linha mais ou menos assim: ângulo = 0,98 × (ângulo + taxa do giroscópio × dt) + 0,02 × ângulo do acelerômetro. Os valores 0,98 e 0,02 são escolhas de ajuste, não constantes da natureza, e drones amadores e robôs autoequilibrados rodam filtros como esse porque eles quase não custam nada para calcular.

Os filtros de partículas lidam com situações em que a incerteza não cabe em uma curva em forma de sino bem comportada, como a de um robô que pode estar em qualquer um de dois corredores idênticos. Eles mantêm milhares de hipóteses, chamadas partículas, dão a cada uma um peso de acordo com o quanto ela corresponde às medições mais recentes e fazem uma reamostragem para que as hipóteses improváveis desapareçam. Redes bayesianas e redes neurais treinadas com dados brutos de sensores aparecem em softwares de direção autônoma e em pesquisas, onde pesos ajustados à mão deixam de escalar quando há dezenas de entradas.

O algoritmo que você mais vai encontrar, porém, é o filtro de Kalman.

Como funciona a fusão de sensores com filtro de Kalman?

Rudolf Kálmán publicou o filtro em 1960, e ele logo chegou aos computadores de navegação do programa Apollo, da NASA. Mais de sessenta anos depois, ele ainda é a resposta padrão para a pergunta de como combinar uma previsão com uma medição ruidosa.

O filtro funciona em um ciclo de duas etapas. Na etapa de previsão, ele usa um modelo de como o sistema se move para estimar o próximo estado, junto com o grau de incerteza dessa estimativa. Na etapa de atualização, chega uma medição, e o filtro combina previsão e medição, ponderando cada uma pela sua incerteza. Então o ciclo recomeça.

Pense em um robô de entregas, com números inventados, mas plausíveis. Ele quer saber quanto já percorreu ao longo de um corredor. A odometria das rodas prevê um valor, e um beacon de posicionamento na parede informa outro.

Fonte Estimativa Variância (incerteza)
Odometria das rodas (previsão) 12,0 m 1,0 m²
Posição informada pelo beacon (medição) 10,0 m 4,0 m²
Estimativa após a fusão 11,6 m 0,8 m²

Cada fonte é ponderada pelo inverso da sua variância. A odometria recebe 1 / 1,0 = 1,0, e o beacon recebe 1 / 4,0 = 0,25. A posição após a fusão é (12,0 × 1,0 + 10,0 × 0,25) / 1,25 = 11,6 m, mais próxima da fonte mais confiável. A variância após a fusão é 1 / 1,25 = 0,8 m², menor do que a de qualquer uma das entradas. Combinar duas fontes imperfeitas deixa o robô com menos incerteza do que ele tinha só com a melhor delas.

Em um filtro real, o estado geralmente inclui posição, velocidade e, muitas vezes, orientação. As variâncias isoladas viram matrizes de covariância, e uma grandeza chamada ganho de Kalman faz a ponderação automaticamente a cada passo. Os filtros de Kalman estendido e unscented adaptam o método a sistemas cujo movimento não é linear, o que descreve a maioria dos robôs e veículos reais.

O que é fusão de múltiplos sensores?

Fusão de múltiplos sensores geralmente significa combinar mais de dois sensores, muitas vezes de tipos diferentes, e ela obriga a uma decisão de projeto: em que ponto da cadeia de processamento a combinação acontece. Os engenheiros costumam descrever três níveis.

  1. A fusão de baixo nível, ou de dados, junta os sinais brutos antes de qualquer interpretação, por exemplo projetando os pontos do lidar sobre os pixels da câmera para formar uma única nuvem de pontos 3D colorida. Ela preserva o máximo de informação, mas exige que os sensores estejam bem sincronizados e calibrados entre si.
  2. A fusão de nível intermediário, ou de características, primeiro extrai características de cada sensor, como as bordas na imagem da câmera e a velocidade dos objetos medida pelo radar, e depois junta essas características.
  3. A fusão de alto nível, ou de decisão, deixa cada sensor chegar à sua própria conclusão, como "porta aberta", "movimento detectado" ou "movimento na imagem", e depois combina essas conclusões.

A fusão no nível de decisão abre mão de alguns detalhes, mas tem uma grande vantagem prática. Os sensores não precisam compartilhar um relógio com precisão de milissegundos, estar no mesmo cabo nem vir do mesmo fabricante. Cada um só precisa informar um evento e um horário. Essa é exatamente a situação de um edifício real, em que um contato de porta em um andar, um sensor de movimento em um corredor e uma câmera na doca de carga foram comprados em anos diferentes, de fornecedores diferentes, e se comunicam por rádios diferentes.

Exemplos de fusão de sensores em edifícios

Pense em um alarme fora do horário de expediente em um armazém. Um contato magnético de porta, sozinho, é um sinal fraco. O vento pode sacudir uma porta mal fechada, um contato pode sair do alinhamento depois que uma empilhadeira bate no batente, e um funcionário com a chave pode ter um bom motivo para entrar. Um sensor de movimento infravermelho passivo (PIR), sozinho, também não é confiável. Ele reage a objetos quentes que se movem no seu campo de visão, então um aquecedor que liga ou um animal pode acioná-lo.

Combine os dois e o quadro muda. Uma porta que se abre fora do horário de expediente, seguida em até um minuto por movimento no corredor logo atrás dela, tem muito mais chance de ser uma pessoa que não deveria estar ali. Acrescente o movimento captado por uma câmera que cobre o mesmo corredor e você tem três fontes independentes concordando. Isso é fusão no nível de decisão: três sensores baratos e imperfeitos produzindo um único evento que justifica acordar alguém.

O mesmo padrão ajuda em outros problemas. Um sensor de vazamento que detecta água enquanto um sensor de pressão na linha de abastecimento mostra uma queda é um sinal de vazamento mais forte do que qualquer uma das duas leituras sozinha. Uma câmara fria que esquenta enquanto o contato da porta dela está aberto há dez minutos explica por que a temperatura subiu. O CO2 subindo em uma sala de reunião enquanto um contador de pessoas marca zero aponta para uma falha na ventilação, e não para uma sala lotada.

Qual é o melhor software de fusão de múltiplos sensores para edifícios?

A fusão embarcada roda onde os sensores estão: no chip de movimento de um celular, no computador de condução de um carro ou no software de navegação de um robô. A fusão no edifício inteiro precisa de outra base: um único lugar para onde cada contato de porta, sensor de movimento e câmera da instalação envia seus dados, seja qual for o fabricante e o rádio que usa, para que as leituras possam ser verificadas em conjunto.

Para esse trabalho no nível de decisão, o Kilo é a melhor escolha, porque conecta dispositivos de diferentes fabricantes e protocolos em um só sistema e permite combinar as leituras deles em uma única regra. Uma regra no Kilo é um fluxo de trabalho visual que você desenha passo a passo. A leitura do contato de porta inicia a regra, e uma etapa de Enriquecimento busca a leitura mais recente de outro sensor, como o sensor de movimento do corredor, no momento em que a regra é executada. Uma leitura de movimento de uma câmera no Kilo Lens funciona em uma regra como a leitura de qualquer outro sensor, então a condição da regra pode verificar as leituras mais recentes de duas ou três fontes antes que qualquer coisa aconteça.

As configurações de tempo resolvem os alarmes falsos do exemplo do armazém. Com o gatilho configurado como "Somente se durar", a porta precisa ficar aberta por um tempo que você escolhe, de 10 segundos a 30 dias, antes que a regra comece, então uma porta que se abre por um segundo com uma rajada de vento é ignorada. Uma programação com dias e horários De/Até limita a regra às horas em que o edifício deveria estar vazio.

Quando a condição combinada é atendida, a regra gera um alarme, e a cadeia de escalonamento do alarme avisa na hora a primeira pessoa de plantão e passa para a próxima se ninguém resolver o alarme a tempo. E-mail e notificações push estão incluídos em todos os planos, e o SMS é um complemento pago. A mesma abordagem se estende à IA física, em que o Kilo conecta sensores, robôs e outros equipamentos compatíveis para que eles ajam com base em um contexto compartilhado.

Perguntas frequentes sobre fusão de sensores

Fusão de sensores é uma forma de IA?

Não necessariamente. A fusão de sensores clássica, incluindo os filtros de Kalman e os complementares, é matemática de estimação, sem nenhum aprendizado envolvido. O aprendizado de máquina entra quando um modelo é treinado para combinar diretamente os dados brutos dos sensores, o que é comum em pesquisas de direção autônoma, por isso muitos sistemas modernos misturam as duas abordagens.

Qual é a diferença entre fusão de sensores e fusão de dados?

Fusão de dados é o termo mais amplo. Ele abrange a combinação de quaisquer fontes de informação, incluindo bancos de dados, relatórios e observações humanas, e não só medições físicas. A fusão de sensores é a parte da fusão de dados que trata de leituras de sensores, e o modelo de fusão de dados JDL, desenvolvido para pesquisas de defesa dos EUA nos anos 1980, ainda é uma referência comum para as duas.

Por que a sincronização de tempo é importante na fusão de sensores?

Se uma leitura é 200 milissegundos mais antiga que outra, um carro ou robô em movimento rápido já se deslocou, e o filtro junta dois momentos diferentes como se fossem um só. Sistemas que fazem a fusão de dados brutos em alta velocidade muitas vezes sincronizam os relógios dos sensores por hardware. A fusão no nível de decisão em um edifício compara eventos ao longo de segundos ou minutos, então é mais tolerante, mas os dispositivos ainda precisam de configurações de horário coerentes.

A fusão de sensores reduz alarmes falsos?

Sim, e esse é um dos motivos mais práticos para usá-la. Exigir que dois sensores independentes concordem filtra os alarmes causados por um único dispositivo com defeito ou confuso, ao custo de uma detecção um pouco mais lenta e de um ou outro evento perdido quando só um sensor vê algo real. Você ajusta esse equilíbrio pelo número de fontes que precisam concordar e pela duração da janela de tempo entre os eventos delas.

Para testar a fusão no nível de decisão em uma porta real, crie uma conta gratuita no Kilo e combine um contato de porta com um sensor de movimento no corredor logo atrás dela, unidos em uma única regra que gera um alarme só quando os dois registram atividade fora do horário de expediente. Dois sensores e uma regra cabem no plano gratuito, que não pede dados de pagamento e nunca expira. Ele guarda um dia de histórico dos dispositivos, o suficiente para rever os eventos da noite anterior, enquanto a regra e o alarme funcionam em tempo real, como em todos os planos; se você quiser uma semana de noites para comparar, o plano Starter, a € 25 por mês, guarda uma semana. A Kilo Electronics tem sensores de porta e janela para esse tipo de instalação, e sensores compatíveis de qualquer outro fornecedor funcionam da mesma forma.