Amazon está intensificando su inversión en inteligencia artificial para mejorar la experiencia de contenido global en Prime Video. La compañía ha desarrollado una IA capaz de reescribir digitalmente los movimientos labiales de los actores, sincronizándolos perfectamente con el audio doblado en diferentes idiomas. Esta tecnología, aunque no es completamente nueva en la industria, ya se está probando en una serie alemana, 'Maxton Hall', con planes de expansión futura.
Amazon es una de las empresas líderes en el impulso de la inteligencia artificial. En transmisiones deportivas, es común ver anuncios sobre AWS y cómo la IA contribuye a ciertas estadísticas (a pesar de que las estadísticas existían antes de la IA).
Con Prime Video, la compañía también persigue la automatización de procesos como el doblaje. Recientemente, han presentado una inteligencia artificial que va más allá de la simple traducción o sustitución de actores de doblaje: esta tecnología reescribe digitalmente el movimiento labial de los actores para que parezca que están pronunciando las palabras en cada uno de los idiomas doblados. Actualmente, se está probando en una serie alemana, y cabe señalar que esta tecnología tiene precedentes anteriores a Prime Video.
Hace unos días, Raf Soltanovich, vicepresidente de tecnología de Prime Video y Amazon GMM Studios (indicando que es un esfuerzo conjunto con la productora de cine de la compañía), mencionó que Amazon busca crear una forma "más fluida e inmersiva de disfrutar del contenido global".
Esto se materializa en una herramienta de IA que toma el video original como referencia y altera digitalmente tanto los labios como la zona inferior del rostro de los actores y actrices, fotograma a fotograma, para que su boca coincida con la pista de audio doblada.
Amazon no ha divulgado ningún video ni demostración tecnológica, pero se sabe que su implementación inicial comienza con la serie alemana 'Maxton Hall'. Esta serie ya utiliza la tecnología para el doblaje al inglés, y la compañía ha indicado que, aunque se trata de una prueba, planea extenderla a más títulos en el futuro. No se ha proporcionado un calendario ni información sobre si esta tecnología llegará a más idiomas además del inglés.
Como se mencionó anteriormente, Amazon está apostando fuertemente por la IA en su plataforma de vídeo. Más allá de las herramientas algorítmicas, Amazon ya ha delegado en la IA generativa algunos aspectos de su plataforma. Por ejemplo, está experimentando con sistemas de doblaje "asistido por IA" para películas y series en inglés y español, así como con doblajes generados íntegramente por IA para algunos animes (lo que provocó una reacción muy negativa tanto de usuarios como de actores). También se probaron resúmenes de series que resultaron con tantos errores que, en algunos casos, tuvieron que ser retirados. Además, se han realizado producciones directamente con IA, como 'Love, Diana Music Hunters', que recuerdan a una película de K-Pop de Netflix, entre otras producciones.
A pesar de todo, el patrón es claro y Amazon parece tener la necesidad de impulsar al máximo esta tecnología. Esto no es sorprendente dada la cantidad de dinero que están invirtiendo, pero la tecnología no es totalmente nueva. De hecho, empresas como Flawless AI se fundaron hace años precisamente para este propósito.
En el ámbito de los videojuegos, títulos como 'Cyberpunk 2077' han utilizado esta tecnología para mejorar la sincronización labial en todos los idiomas. De hecho, cuando los deepfakes empezaron a ser conocidos, la tecnología ya se empleaba para esto. A falta de una demostración de Amazon, se puede ver un ejemplo de Flawless.
Volviendo a la iniciativa de Amazon, ¿quién notará esto? Evidentemente, aquellos a quienes les molesta que, cuando un personaje pronuncia una palabra corta en inglés, suene como una frase más larga en español, con una ligera desincronización. El problema radica en lo que esta tecnología puede causar, ya que hemos tenido muchos ejemplos de pequeños rasgos faciales modificados por ordenador que los humanos notamos de inmediato. La IA, en última instancia, aprende y puede mejorar (como el ejemplo recurrente de Will Smith comiendo pasta), pero los humanos estamos diseñados para percibir de inmediato y de forma inconsciente cualquier mínima perturbación en las facciones humanas. Pasamos una gran parte de nuestra vida "leyendo" rostros, algo que hacemos desde que somos una especie, por lo que esta tecnología podría generar más rechazo que una ligera desincronización labial.
Aparte de la preocupación por el "valle inquietante", la otra cara de la moneda es que este ambicioso uso de la IA ha generado un conflicto entre el sector de los actores y actrices de voz y Amazon. Uno de los casos más sonados es el de la voz de Lara Croft en el juego 'Tomb Raider: Legacy of Atlantis', que, además de un "olor" a IA generativa, no contará con las actrices que han puesto voz a Lara desde 1998, debido a la falta de doblaje a muchos idiomas. El problema no es que se vaya a doblar con IA, sino que se busca que los actores que trabajen con ellos cedan los derechos de su voz para que Amazon pueda entrenar la IA, algo a lo que sindicatos y asociaciones de doblaje se han negado. Por esta razón, algunas compañías no están doblando sus títulos a ciertos idiomas.
Desde Adoma, el mayor sindicato de actores y actrices de voz a nivel nacional, criticaron a Amazon por no proteger a los actores de doblaje con una cláusula de IA adecuada y, además, afirmaron que las empresas entrenan modelos de IA "capaces de generar voces 'imitándoles', sin permiso y sin compensación".
