Herramienta transforma mundo fotos históricas en experiencias 4D

El método, que emplea el aprendizaje profundo de ingerir y decenas de miles de sintetizan fotos en su mayoría sin etiquetar y sin fecha, se resuelve un problema que ha eludido a los expertos en la visión por ordenador durante seis décadas.

"Es una nueva forma de modelar escenas que no sólo le permite mover la cabeza y ve, por ejemplo, la fuente de diferentes puntos de vista, pero también le da controles para modificar el tiempo", dijo Noah Snavely, profesor asociado de ciencias de la computación en Cornell Tech y autor principal del "Crowdsampling la función plenoptic", presentado en la Conferencia Europea de Visión por Computador, que tuvo lugar prácticamente de agosto 23-28.

"Si realmente fue a la fuente de Trevi en sus vacaciones, la forma en que se vería dependería de lo que vez que fue, por la noche, sería iluminada por los reflectores de la parte inferior. Por la tarde, sería iluminada por el sol, a menos se fue en un día nublado ", dijo Snavely. "Hemos aprendido toda la gama de las apariencias, según la hora del día y el clima, a partir de estas colecciones de fotos no organizados, de tal manera que se puede explorar toda la gama y al mismo tiempo mover alrededor de la escena."

Que representa un lugar de una manera fotorrealista es un reto para la visión tradicional de la computadora, en parte debido a la gran cantidad de texturas para ser reproducido. "El mundo real es tan diversa en su apariencia y tiene diferentes tipos de materiales, las cosas brillantes, el agua, las estructuras finas," dijo Snavely.

Otro problema es la falta de coherencia de los datos disponibles. Al describir cómo algo se ve desde cada posible punto de vista en el espacio y el tiempo, conocido como la función plenóptica, sería una tarea manejable con cientos de cámaras colocadas alrededor de una escena, grabación de datos día y noche. Pero como esto no es práctico, los investigadores tuvieron que desarrollar una manera de compensar.

anuncio