El video volumétrico se está convirtiendo en un contenido clave para la realidad virtual

Desde una cierta perspectiva técnica, ha habido pocos cambios en la forma en que consumimos medios durante más de 100 años. El consumo de medios tradicionales, ya sea en video 2D o 3D, es en gran medida pasivo. No le da la opción de moverse o interactuar con la escena. Así es como el video volumétrico se está convirtiendo en un contenido clave para la realidad virtual.

Hemos tenido 130 años de filmación, pero en la superficie, el arte y la ciencia de hacer películas y animaciones han experimentado una tremenda evolución.

El rápido crecimiento de la realidad virtual (VR) y la realidad aumentada (AR) están listos para revolucionar la forma en que consumimos medios.

Con la ayuda de la realidad mixta, ya no somos solo espectadores pasivos. Prácticamente podemos caminar por las escenas e interactuar con el contenido de manera realista e inmersiva.

Muchas de las experiencias actuales de realidad virtual todavía ofrecen grados limitados de libertad.

Por ejemplo, un video 360 tradicional renderizado en realidad virtual todavía se puede ver desde una sola perspectiva. La posición del camarógrafo te lleva a través de la experiencia. No te da la libertad de explorar completamente el entorno por ti mismo.

Cómo traer contenido de realidad virtual más envolvente y realista

La solución para crear una mayor inmersión en realidad virtual es video volumétrico La tecnología de captura volumétrica permite capturar imágenes de personas y objetos reales simultáneamente con muchas cámaras al mismo tiempo.

La captura genera modelos 3D hiperrealistas que se mueven de forma natural y orgánica. Nos permite ver objetos en cualquier momento y ángulo, con seis grados de libertad.

La configuración para la captura volumétrica requiere una gran variedad de cámaras e iluminación que puede captar en profundidad una captura de 360 ​​grados.

La configuración también necesita una unidad de procesamiento que une todas las imágenes. El renderizado puede tomar muchas horas incluso con las tarjetas gráficas de más alta gama.

Sin embargo, el doloroso proceso de configuración y procesamiento es recompensado por los modelos 3D de ultra alta calidad. Estos modelos de alta calidad se están convirtiendo en el núcleo de la realidad virtual.

El uso de la tecnología de captura de video volumétrico ha explotado con el surgimiento de la realidad virtual.

La necesidad de una mayor inmersión y personajes realistas en la realidad virtual ha hecho que muchos productores de contenido confíen cada vez más en el formato volumétrico.

El video volumétrico que se muestra en realidad virtual.

La popularidad del video volumétrico ha visto surgir muchas nuevas empresas que ahora brindan servicios de captura de video volumétrico. Todos ellos tienen diferentes enfoques y configuraciones. La industria está creciendo a un ritmo tal que se espera que valga la pena. $ 2.78 mil millones para 2023 según investigación de mercado.

Captura volumétrica

A pesar de su creciente popularidad, la captura volumétrica todavía experimenta ciertos cuellos de botella en su implementación. El costo y la portabilidad son los principales problemas que limitan la adopción. Sin embargo, ya podemos ver que están llegando mejoras de hardware y software que probablemente reducirán los costos y la complejidad al tiempo que aumentan la facilidad de uso.

A medida que la realidad virtual se infiltra lentamente en la corriente principal, la tecnología se convertirá en la razón de ser.

Los productores de contenido VR y AR lo encontrarán indispensable para satisfacer las exigentes demandas de inmersión y realismo.

Cómo funciona la captura de video volumétrica

Configuración de captura volumétrica de Microsoft.

La captura de video volumétrico funciona según el mismo principio que la fotogrametría, solo que graba objetos en movimiento.

Las resoluciones de las cámaras utilizadas en la captura volumétrica varían, pero capturan enormes cantidades de datos que pueden tardar una eternidad en procesarse.

Varias cámaras capturan la escena desde diferentes puntos de vista en estudios de captura volumétrica especialmente diseñados. Genera una verdadera representación 3D del espacio. Existen diferentes sistemas de captura de video volumétrico, por ejemplo Captura Intel o Estudios de realidad mixta de Microsoft.

El estudio está envuelto en una pantalla verde y una plataforma de cámara masiva. Captura múltiples puntos de vista de la persona parada o actuando en el medio.

Una vez que se hayan registrado los movimientos de la persona, puede limpiar todas las cosas no deseadas.

Un poderoso software de computadora está interpolando y triangulando la información visual superpuesta. El software de la computadora genera una llamada nube de puntos. La nube de puntos consta de varios puntos en el espacio que contienen información geométrica y de profundidad.

Los datos generados por el software de la computadora siguen siendo en gran medida una matriz “ruidosa” o una representación del original.

Por lo tanto, los datos deben filtrarse y pulirse conectando los puntos finos y generando una malla 3D más familiar. Los datos tendrán las texturas apropiadas de la captura volumétrica aplicada.

El proceso de filtrado de nube de puntos no está completamente automatizado en algunas configuraciones de captura volumétrica y eso puede implicar limpieza y corrección manual.

Software de edición de video volumétrico.

Los píxeles que contienen profundidad y color son el producto final.

El contenido que ha creado puede ser para realidad virtual, pero en realidad no se limita a él. Puede reutilizar su creación en cualquier plataforma, incluida AR o en la Web.

Los activos virtuales creados a partir de la captura volumétrica simplifican la creación de contenido virtual. La gente puede usarlos para crear nuevas historias o tomas sin depender de un equipo o estar físicamente presente en el set.

Desafíos con la captura de video volumétrica

Intel ha construido el estudio de video volumétrico más grande del mundo.

Si bien las oportunidades para videos volumétricos son ilimitadas gracias al crecimiento en la adopción de la realidad virtual, la tecnología aún plantea un problema práctico de cambio.

El cambio tiene que ver principalmente con los datos. Las cámaras en los sistemas capturan grandes cantidades de datos. Como resultado, los creadores de contenido volumétrico tienen que lidiar con algunas limitaciones casi debilitantes.

A menudo, estas restricciones pueden limitar el potencial y el alcance del uso de la tecnología de video volumétrico en diferentes dispositivos.

Esperamos que este desafío se aborde a través de mejoras e innovaciones de hardware y software, pronto.

Es probable que los creadores de contenido que trabajan con tecnología de captura volumétrica también enfrenten desafíos de flujo de trabajo.

Los creadores tienen que trabajar con una gran cantidad de software de posproducción para unir las cosas y simplificar el flujo de trabajo.

La mayoría de estas opciones de puntadas juntas son software patentado.

Además del desafío de las herramientas de software, el flujo de trabajo del video volumétrico también enfrentará un desafío de “personas y talento”. Debe reunir un equipo colaborador con conjuntos de habilidades diversas y especializadas para llevar a cabo el proyecto.

Nuevos enfoques de nuevos jugadores

Software de captura volumétrica y calibración automática de 4 Microsoft Azure Kinect.

Varias nuevas empresas están invirtiendo en video volumétrico y vienen con enfoques más nuevos y más simples.

EF EVE dot com ofrece configuración de captura volumétrica mediante el uso de múltiples Microsoft Azure Kinect y otras cámaras 3D populares.

EF EVE es actualmente el único software en el mercado que puede calibrar automáticamente hasta 10 sensores.

El sistema EF EVE le permite grabar, editar, exportar y publicar videos volumétricos a través de su software Volcapp y Creator. El producto ha creado un flujo de trabajo lineal que permite a los creadores realizar todas las tareas bajo un mismo techo.

Este tipo de compañías de software de video volumétrico están trayendo configuraciones más asequibles y portátiles que ahora están democratizando la tecnología de captura de video volumétrico. Con los esfuerzos de EF EVE y otras compañías de software, hará que este tipo de producción de video volumétrico sea accesible para cientos de nuevas compañías e instituciones, ¡y también para usted!

Crédito de la imagen: David Attenborough, “Hold the World”.