Gráfico de Conceptos & Resumen usando Claude 3 Opus | Chat GPT4o | Llama 3:
Resumen:
1.- La IA generativa puede crear y manipular imágenes realistas, incluidas caras humanas, permitiendo cosas que no son posibles en la realidad física.
2.- CGI y los efectos visuales han transformado la narración en películas, con un uso intensivo en películas como Avatar.
3.- Las caras CGI realistas eran difíciles debido al efecto del valle inquietante, apareciendo espeluznantes cuando están cerca de ser fotorealistas pero no completamente.
4.- La captura de datos y la visión por computadora, como los escaneos de actores en alta resolución, ayudaron a resolver el problema del valle inquietante pero requirieron sistemas complejos.
5.- El orador desarrolló sistemas de seguimiento facial en tiempo real más desplegables y automatizados, que luego se utilizaron en tecnologías como el Animoji del iPhone.
6.- La recreación facial, como recrear la cara de Paul Walker en Furious 7, requirió un trabajo manual intensivo y altos costos.
7.- Las redes neuronales profundas, especialmente las redes neuronales convolucionales, permitieron una visión por computadora más robusta para el análisis facial.
8.- Las redes generativas antagónicas (GANs) permitieron generar imágenes realistas, como caras falsas, enfrentando redes generadoras y discriminadoras entre sí.
9.- La empresa del orador desarrolló el intercambio de caras en tiempo real y la recreación facial usando una sola foto, permitiendo "deep fakes".
10.- Los deep fakes llevaron a la pornografía no consensuada de celebridades, campañas de desinformación, estafas usando identidades falsas y otros usos maliciosos.
11.- La accesibilidad de la tecnología deep fake ha hecho que el contenido generado extremadamente convincente sea fácil de producir y difundir para cualquiera.
12.- La detección de deep fakes basada en biometría o aprendizaje profundo puede ayudar a identificar contenido falso. Las soluciones comerciales y de investigación están avanzando.
13.- Es importante aumentar la concienciación sobre el potencial de los deep fakes. El orador demostró conversaciones deep fake en tiempo real para mostrar la tecnología.
14.- La empresa del orador utiliza la IA generativa para mejorar avatares digitales y para casos de uso positivo en efectos visuales.
15.- Ejemplos: Marionetización de un bebé que habla en una película, rejuvenecimiento/reemplazo facial para actores en programas como Slumberland y Fallout.
16.- La sincronización de labios por IA en películas extranjeras es un caso de uso importante, traduciendo actuaciones de actores sin el típico mal doblaje.
17.- Pinscreen AI es un nuevo producto que permite a los usuarios subir videos y la IA los traduce/sincroniza los labios en cualquier idioma.
18.- Más allá de las caras, la IA generativa tiene como objetivo generar cualquier contenido deseado usando técnicas como los modelos de difusión.
19.- Los modelos de difusión como Stable Diffusion descomponen la generación de imágenes en pasos de eliminación de ruido usando indicaciones de texto para guiar la generación.
20.- Ejemplos de IA de texto a imagen impresionantes incluyen DALL-E 2, Midjourney y el modelo de texto a video de Runway ML.
21.- Hace 30 años, el T-1000 en Terminator 2 inspiró al orador al mostrar que CGI podría crear cualquier cosa imaginable.
22.- Los avances en CGI realista llevaron a películas con miles de tomas VFX y solo un par de tomas completamente reales.
23.- La captura facial temprana requería equipos de múltiples cámaras costosos. El orador trabajó en sistemas de seguimiento facial en tiempo real más prácticos.
24.- Una de las tecnologías de seguimiento facial del orador fue adquirida por Apple y se convirtió en la base para Animoji.
25.- La IA generativa puede simular de manera convincente nuevas expresiones faciales a partir de una sola foto fija, teniendo muchas aplicaciones en entretenimiento/efectos visuales.
26.- Sin embargo, las mismas tecnologías de IA han permitido la pornografía deepfake no consensuada, el fraude, la desinformación política y otros usos maliciosos.
27.- Con los medios generados por IA ahora accesibles para cualquiera, no solo para estudios de VFX, la detección y la concienciación pública son críticas.
28.- La empresa del orador utiliza el renderizado facial por IA para mejorar avatares digitales, rejuvenecer actores y doblar automáticamente películas extranjeras.
29.- Pinscreen.ai será una versión productizada de su tecnología de doblaje por IA para la traducción automática impulsada por caras de cualquier video.
30.- Más allá de las caras, las técnicas avanzadas de IA generativa como los modelos de difusión ahora pueden generar casi cualquier contenido imaginable solo a partir de texto.
Bóveda de Conocimiento construida porDavid Vivancos 2024