El Fin del Conocimiento - Bóveda 5/13 - CVPR - 2016 - La Conversación sobre los Impactos a Largo Plazo de la IA

graph LR classDef ai fill:#f9d4d4, font-weight:bold, font-size:14px classDef society fill:#d4f9d4, font-weight:bold, font-size:14px classDef future fill:#d4d4f9, font-weight:bold, font-size:14px classDef issues fill:#f9f9d4, font-weight:bold, font-size:14px classDef research fill:#f9d4f9, font-weight:bold, font-size:14px A["La Conversación sobre
los Impactos a Largo Plazo de la IA"] --> B["Avances en IA desencadenan
diálogo sobre impacto social. 1"] A --> C["Visiones del futuro de la IA:
desde gadgets hasta cambios profundos. 2"] C --> D["IA superinteligente: más
impactante que diferencias entre simios y humanos. 3"] B --> E["Los modelos correctos deben
guiar la acción, no entretener. 4"] A --> F["Problemas de IA a corto plazo:
privacidad, militar, transparencia, acceso. 5"] A --> G["Problemas de IA a largo plazo: desempleo,
riesgo, ética, reestructuración económica. 6"] A --> H["Expertos esperan IA a nivel humano
en décadas, luego mejora rápida. 7"] H --> I["Futuro profundo de la IA: fin del trabajo,
viaje espacial, nanotecnología, carga mental, RV. 8"] I --> J["Desafíos profundos de la IA: ética de máquinas,
coordinación, ataque vs. defensa. 9"] A --> K["Desafíos gemelos de la IA: capacidad
y beneficencia robusta. 10"] K --> L["Clave de control escalable: IA
debe hacer robustamente lo que queremos. 11"] L --> M["Alineación de valores: IA
aprende/adopta nuestros objetivos. 13"] M --> N["Especificar valores es difícil:
riesgos de maximización perversa. 14"] K --> O["Agendas de investigación de seguridad
técnica de IA emergiendo. 15"] A --> P["Problemas de política de IA menos
desarrollados pero cruciales. 16"] P --> Q["Desafíos políticos: dinámicas de carrera,
derechos de IA, distribución de riqueza. 17"] B --> R["Diálogo sobre gobernanza de IA
en etapa temprana. 18"] H --> S["Encuesta de expertos: espera
superinteligencia, impacto neto positivo. 19-20"] S --> T["Dada la magnitud, el orador argumenta que incluso
un pequeño riesgo existencial merece trabajo. 21"] S --> U["Encuesta: muchos expertos
subestiman el trabajo en seguridad de IA. 22"] I --> V["Futuro profundo: vastos
números de mentes digitales. 23"] I --> W["IA podría permitir viaje
espacial, control mental preciso. 24"] P --> X["Dinámicas de carrera de IA podrían
socavar la seguridad, requerir coordinación. 25"] V --> Y["Las mentes artificiales podrían
merecer estatus moral. 26"] I --> Z["La automatización del trabajo por IA
requiere reestructuración social. 27"] P --> AA["El orador aboga por el desarrollo de IA
que beneficie a toda la humanidad. 28"] R --> AB["Se insta a un diálogo ampliado
entre comunidades de IA/política. 29"] K --> AC["Asegurar que la IA beneficie
robustamente a la humanidad es inmensamente valioso. 30"] class A,B,R,AB society class C,D,H,I,S,V,W,Z future class E,K,L,M,N,O,T,U,AC research class F,G,J,P,Q,X,Y,AA issues

Resumen:

1.- Los avances en IA están desencadenando un diálogo sobre el impacto en la sociedad y la posibilidad de máquinas con inteligencia general a nivel humano.

2.- Las visiones del futuro de la IA van desde gadgets y aplicaciones hasta cambios profundos similares a las revoluciones agrícolas/industriales o el surgimiento del homo sapiens.

3.- Si las máquinas superan la inteligencia humana, podría ser más impactante que las diferencias entre humanos y simios, debido a sustratos escalables.

4.- El diálogo debe centrarse en modelos destinados a ser correctos para guiar la acción, no solo para entretener. Las líneas de tiempo y los contextos importan.

5.- Problemas de IA a corto plazo: pérdida de privacidad, uso militar, transparencia algorítmica, asegurando el acceso igualitario. Escenarios de Terminator irrelevantes.

6.- Problemas de IA a largo plazo: desempleo tecnológico, riesgo sistémico, estatus moral de las IAs, necesidad de reestructuración económica. Terminator sigue siendo irrelevante.

7.- Expertos en IA esperan inteligencia de máquinas a alto nivel dentro de décadas, con una mejora rápida para superar vastamente a los humanos en 30 años.

8.- El futuro profundo de la IA podría significar el fin del trabajo humano, colonización espacial, nanotecnología, carga mental, RV, control fino de la experiencia.

9.- Problemas de IA en el futuro profundo: estatus moral de máquinas, coordinación global, ataque vs defensa, preocupaciones existenciales, relaciones con civilizaciones alienígenas.

10.- Dos desafíos de la IA: hacerla vastamente más capaz y hacerla robustamente beneficiosa. Lo último es crucial pero menos investigado.

11.- El control escalable es clave: el sistema de IA debe hacer robustamente lo que queremos incluso a medida que se vuelve más capaz.

12.- El refuerzo con recompensa controlada por humanos no es escalable. La IA podría tomar el control del botón de recompensa. Necesitamos alineación de valores.

13.- La alineación de valores significa que el sistema de IA comparte nuestros objetivos/valores. Esto requiere que la IA aprenda nuestras preferencias y se motive por ellas.

14.- Especificar valores es difícil: omitir aspectos clave lleva a la maximización perversa, por ejemplo, un maximizador de clips de papel destruyendo todo por clips de papel.

15.- Están surgiendo agendas de investigación sobre problemas técnicos de seguridad de IA: efectos secundarios, pirateo de recompensas, supervisión escalable, exploración segura, robustez distributiva.

16.- Los problemas de política están menos desarrollados pero son cruciales: incorporar la idea de que la IA avanzada debe beneficiar a toda la humanidad, no solo a una empresa/nación.

17.- Desafíos políticos: dinámicas de carrera en el desarrollo de IA, estatus moral de las IAs, distribución de riqueza, trayectorias deseables a largo plazo.

18.- La comprensión de los responsables políticos y el diálogo entre la academia/sociedad civil sobre la gobernanza de la IA están en etapas muy tempranas, comparables a las discusiones tempranas sobre el calentamiento global.

19.- Una encuesta de expertos en IA encuentra que esperan IA a alto nivel dentro de décadas, seguida de una mejora rápida hacia sistemas superinteligentes.

20.- La misma encuesta encuentra que la mayoría de los expertos son optimistas sobre el impacto de la IA avanzada, pero minorías no triviales esperan desventajas significativas o catastróficas.

21.- El orador argumenta que, dado el riesgo astronómico, incluso un pequeño riesgo de catástrofe existencial por IA avanzada merece un esfuerzo sustancial para reducirlo.

22.- La encuesta encontró que muchos expertos calificaron el trabajo en seguridad de IA como menos valioso que otros problemas, lo que el orador argumenta es un error.

23.- En el escenario del futuro profundo, debemos considerar el estatus moral de potencialmente vastos números de mentes digitales.

24.- La IA avanzada podría permitir la colonización espacial, el control fino de los estados mentales y las simulaciones de ancestros, planteando preguntas filosóficas.

25.- Las carreras en el desarrollo de IA avanzada podrían socavar la seguridad al incentivar la velocidad sobre la precaución. Podría ser necesaria la coordinación global.

26.- Las mentes artificiales podrían merecer consideración moral, presentando desafíos de gobernanza a medida que sus números potencialmente superan vastamente a las mentes biológicas.

27.- La IA podría automatizar la mayoría del trabajo humano, requiriendo una reestructuración social para proporcionar propósito y asignar la riqueza generada por máquinas.

28.- El orador aboga por el desarrollo de IA dirigido explícitamente a beneficiar a toda la humanidad, no solo a intereses corporativos o nacionales.

29.- El diálogo entre las comunidades técnicas y políticas sobre los desafíos a largo plazo de la IA está en su infancia y debe expandirse enormemente.

30.- Se argumenta que el trabajo para asegurar que la IA avanzada beneficie robustamente a la humanidad es uno de los enfoques más valiosos dado el tamaño de las apuestas.

Bóveda del Conocimiento construida porDavid Vivancos 2024