Pesquisadores em Laboratório de mídia do MIT encontramos um uso verdadeiramente impressionante para o sensor LiDAR instalado no seu iPhone e iPad Professional. Ele pode detectar e rastrear objetos que estão completamente fora do campo de visão da câmera. Sim, isso significa ver além dos cantos.
Esse tipo de imagem, chamada de imagem sem linha de visão (NLOS), não é um conceito novo. Mas as demonstrações anteriores dependiam de lasers poderosos e caros de laboratório, com pouca aplicação no mundo actual.
O que torna esta pesquisa interessante é que a equipe do MIT a realizou usando o mesmo sensor LiDAR de baixo consumo já incorporado em nossos smartphones.
Como funciona?
A equipe está usando o sensor LiDAR para nos permitir olhar além dos cantos para objetos que não estão diretamente em nossa linha de visão. O molho secreto é o movimento. À medida que o dispositivo se transfer, o sistema rastreia simultaneamente a forma do objeto, a posição do objeto e a posição da câmera ao longo do tempo.
A equipe chama isso de modelo de amostragem de abertura e, essencialmente, une uma série de leituras barulhentas e imperfeitas em algo significativo. Os resultados não são fotos nítidas do que está escondido na esquina. Em vez disso, você obtém inferências progressivamente mais ricas. O sistema pode dizer que algo está lá, como está se movendo e que formato aproximadamente tem. Pense nisso como uma ecolocalização, mas com luz.
O que isso pode realmente fazer?
A equipe demonstrou quatro capacidades específicas: rastrear um único objeto, reconstruir sua forma, rastrear vários objetos ao mesmo tempo e algo particularmente interessante para a robótica, que é a autolocalização da câmera usando pontos de referência ocultos.
Esse último é um grande negócio. Um robô ou sistema autônomo que consegue se orientar usando objetos que não pode ver diretamente tem uma enorme vantagem no mundo actual. Também pode ajudar a melhorar a tecnologia de direção autônoma ou drones de entrega para coisas como evitar acidentes.
Infelizmente, neste momento não é possível tentar isto no seu smartphone, “pois isso exigiria que estas empresas divulgassem os seus dados brutos, o que muitas vezes não fazem”, disse Siddharth Somasundaram, um dos investigadores deste projeto. Dito isto, os pesquisadores disponibilizaram seu código publicamente e o {hardware} do sensor pode ser montado por menos de US$ 50.
