La tecnología ‘True Sync’ de Flawless AI es una revolución para el doblaje de películas

Cuando la última película del director británico Scott Mann, Fall, estuvo a punto de recibir una calificación “R” de la MPAA por la cantidad de bombas “F” lanzadas durante su tiempo de ejecución de una hora y 47 minutos, hizo lo que cualquier persona razonable lo haría: usó inteligencia artificial para alterar digitalmente las actuaciones del actor para cambiar las malas palabras en términos más agradables. un golpe de maldito genio, si nos preguntas.

Para los curiosos: alrededor de 35 palabras “F” se situó entre una clasificación PG-13 y una clasificación R. El dilema de Mann, entonces, se convirtió en tratar de descubrir cómo preservar la integridad de su película sin volver a filmar o doblar. Esto es, por supuesto, más difícil de lo que parece.

En una película tradicional, simplemente morderías la bala y volverías a filmar. Es costoso, pero es mejor que hacer que su audiencia pierda la inmersión porque acaban de escuchar una línea pronunciada de manera diferente a lo que claramente vieron decir al actor en la pantalla. Es mucho más fácil leer los labios en 4K.

Suscríbase a nuestro boletín ahora para recibir un resumen semanal de nuestras historias favoritas de IA en su bandeja de entrada.

Pero Fall no es una película tradicional. Es una película de terror sobre dos mujeres que trepan una torre de radio de 2,000 pies. No estropearé nada, pero fue filmado prácticamente. Eso significa que construyeron una torre gigante y filmaron a sus actores en la parte superior.

Cuando piensas en la logística involucrada, se hace evidente por qué las regrabaciones no son realmente una opción. No solo serían aún más costosos de lo habitual, sino que el lenguaje vulgar fue, en muchos casos, improvisado por los actores debido a la emotividad de la escena.

Esto significa que Mann probablemente obtuvo las actuaciones que estaba buscando, un logro que podemos suponer que ningún director borraría voluntariamente por algo tan trivial como un lenguaje soez. Desafortunadamente, las películas clasificadas R normalmente solo bruto alrededor de la mitad lo que deben sus contrapartes PG-13.

Afortunadamente para Mann, se encuentra en una posición única entre los directores de Hollywood. Es co-CEO y co-fundador de IA impecableuna empresa de tecnología que se especializa en la alteración digital de videos para hacer coincidir la actuación de un actor con una pista de audio doblada.

Para Fall, Mann y el equipo de Flawless AI tuvieron que grabar a los actores diciendo frases alternativas como “fucking” para reemplazar el lenguaje vulgar de la película. Luego, ejecutaron tanto el nuevo audio como el video a través de la red neuronal hecha a la medida de la compañía, o lo que ellos llaman tecnología “True Sync”. Esto le permite al equipo, esencialmente, falsificar las caras de los actores para que digan las nuevas líneas.

En cuanto a los resultados, con una calificación de “fresco certificado” en Rotten Tomatoes, parece que nadie notó la IA en el trabajo cuando vieron cómo se desarrollaba el drama en la pantalla grande.

El sistema no solo es rentable en comparación con las nuevas tomas, sino que, según Mann, también es relativamente fácil de insertar en la producción. Le dijo a TNW por correo electrónico que aproximadamente el 80% del flujo de trabajo está automatizado y que fue diseñado para manejar todo en la publicación; no requiere ningún equipo o dirección especial durante la producción de la película. Incluso dice que “vubbing” o doblaje de video puede ahorrar hasta un 50% en costos cuando se trata de volver a grabar.

Pero Flawless AI no se fundó solo para ayudar a los cineastas a ahorrar dinero en la posproducción. De hecho, el enfoque principal de la empresa es la accesibilidad. Según Mann, “la accesibilidad es muy importante para nosotros porque creemos en la capacidad de compartir historias como deben ser y preservar las actuaciones de los actores y cómo los directores planearon que se contara la historia”.

La compañía se fundó después de que Mann viera una de sus películas anteriores, Heist, protagonizada por Rober Deniro, en formato doblado tradicional. Encontró que los métodos de doblaje del status quo eran “limitados y rotos”.

Vi lo mucho que el doblaje extranjero tradicional dañó la película, ya que se perdieron la escritura, la interpretación y el significado”, dijo Mann a TNW. “Esto me llevó a leer un libro blanco del Instituto Max Planck sobre redes neuronales y, en última instancia, me llevó a fundar Flawless”.

En el futuro, Mann y el equipo de Flawless AI esperan que su trabajo permita a los narradores llegar al público de todo el mundo de una manera más íntima. Una cosa es saber lo que dice un actor porque estás escuchando audio doblado en un idioma que entiendes, es una experiencia completamente diferente verlo decir la línea con todos los matices y el carácter que se le dio en la actuación original.

Nos quitamos el sombrero ante Mann y el equipo de Flawless AI por usar la IA para siempre. El arte es para todos.


Source: The Next Web by thenextweb.com.

*The article has been translated based on the content of The Next Web by thenextweb.com. If there is any problem regarding the content, copyright, please leave a report below the article. We will try to process as quickly as possible to protect the rights of the author. Thank you very much!

*We just want readers to access information more quickly and easily with other multilingual content, instead of information only available in a certain language.

*We always respect the copyright of the content of the author and always include the original link of the source article.If the author disagrees, just leave the report below the article, the article will be edited or deleted at the request of the author. Thanks very much! Best regards!