Ferramenta transforma mundo fotos marco em experiências 4D

O método, que emprega aprendizagem profunda para ingerir e dezenas sintetizar de milhares de fotos na sua maioria sem marcas e sem data, resolve um problema que iludiu especialistas em visão por computador por seis décadas.

"É uma nova forma de modelar cenas que não só lhe permite mover sua cabeça e ver, dizer, a fonte a partir de diferentes pontos de vista, mas também lhe dá comandos para alterar o tempo", disse Noah Snavely, professor associado de ciência da computação na Universidade de Cornell tech e autor sênior do "Crowdsampling a função Plenoptic", apresentado na Conferência Europeia sobre Computer Vision, realizado praticamente agosto 23-28.

"Se você realmente foi para a Fonte de Trevi em suas férias, o caminho ficaria iria depender do que vez que fui, durante a noite, seria iluminado por holofotes do fundo. Na parte da tarde, seria iluminado pelo sol, a menos você foi em um dia nublado ", disse Snavely. "Nós aprendemos toda a gama de aparências, com base na hora do dia e tempo, a partir dessas coleções de fotos desorganizados, de modo que você pode explorar toda a gama e simultaneamente movimentar a cena."

Representando um lugar de uma forma photorealistic é um desafio para a visão tradicional de computador, em parte devido ao grande número de texturas para ser reproduzida. "O mundo real é tão diverso em sua aparência e tem diferentes tipos de materiais, de coisas brilhantes, água, estruturas finas", disse Snavely.

Outro problema é a inconsistência dos dados disponíveis. Descrevendo como algo olhares de cada ponto de vista possível no espaço e no tempo, conhecido como a função plenoptic, seria uma tarefa gerenciável com centenas de webcams afixadas em torno de uma cena, gravação de dados dia e noite. Mas desde que isso não é prático, os pesquisadores tiveram que desenvolver uma maneira de compensar.

propaganda