El Fin del Conocimiento - Bóveda 1 - Lex 100+ / 117 (09/07/2025) -Dario Amodei : CEO de Anthropic sobre Claude- AGI y el Futuro de la IA y la Humanidad

graph LR classDef scaling fill:#ffd4d4, font-weight:bold, font-size:14px classDef safety fill:#d4ffd4, font-weight:bold, font-size:14px classDef human fill:#d4d4ff, font-weight:bold, font-size:14px classDef future fill:#ffffd4, font-weight:bold, font-size:14px classDef policy fill:#ffd4ff, font-weight:bold, font-size:14px classDef bio fill:#d4ffff, font-weight:bold, font-size:14px Main["Bóveda7-269"] Main --> P1["El escalado eleva la IA
al nivel de Doctorado 1"] P1 -.-> G1["Escalado"] Main --> P2["Grandes datos y cómputo
receta química 2"] P2 -.-> G1 Main --> P3["Datos sintéticos resuelven
escasez 3"] P3 -.-> G1 Main --> P4["Clústeres de $100B accesibles
para superinteligencia 4"] P4 -.-> G1 Main --> P5["Carrera hacia la cima
establece ejemplo 5"] P5 -.-> G2["Seguridad"] Main --> P6["Interpretabilidad mecanicista
ahora estándar 6"] P6 -.-> G2 Main --> P7["Autoencoders dispersos
detectan engaño 7"] P7 -.-> G2 Main --> P8["RSP activa salvaguardas
en niveles 8"] P8 -.-> G2 Main --> P9["ASL-3 pronto
ASL-4 necesita pruebas 9"] P9 -.-> G2 Main --> P10["SB-1047 necesita
diseño quirúrgico 10"] P10 -.-> G3["Política"] Main --> P11["Actores no estatales malusan
ciber biología 11"] P11 -.-> G2 Main --> P12["Riesgo de autonomía
auto-replicación 12"] P12 -.-> G2 Main --> P13["Pesos inmutables
percepción de atontamiento 13"] P13 -.-> G2 Main --> P14["IA Constitucional refina
sin etiquetas 14"] P14 -.-> G1 Main --> P15["Post-entrenamiento combina
RLHF sintético 15"] P15 -.-> G1 Main --> P16["Claude 3.5
50 % en codificación 16"] P16 -.-> G4["Humano"] Main --> P17["IDEs futuros integran
IA de ejecución estática 17"] P17 -.-> G4 Main --> P18["Programación cierra
ciclo escribir probar depurar 18"] P18 -.-> G4 Main --> P19["Humanos cambian a
arquitectura diseño UX 19"] P19 -.-> G4 Main --> P20["Sensores IA desbloquean
curas biológicas 20"] P20 -.-> G5["Biología"] Main --> P21["Estudiantes graduados IA
luego investigadores principales 21"] P21 -.-> G5 Main --> P22["Ensayos colapsan
de años a meses 22"] P22 -.-> G5 Main --> P23["El significado persiste
elección relaciones impacto 23"] P23 -.-> G4 Main --> P24["Concentración de poder
mayor amenaza 24"] P24 -.-> G3 Main --> P25["Densidad de talento
supera masa 25"] P25 -.-> G4 Main --> P26["Iteración de mente abierta
supera experiencia 26"] P26 -.-> G4 Main --> P27["Ingeniería de prompts
filosofía iterativa 27"] P27 -.-> G4 Main --> P28["Entrenamiento de carácter
equilibra honestidad respeto 28"] P28 -.-> G2 Main --> P29["Falla de empatía
tolerancia fomenta alineación 29"] P29 -.-> G2 Main --> P30["Características universales
biología e IA 30"] P30 -.-> G1 G1["Escalado"] --> P1 G1 --> P2 G1 --> P3 G1 --> P4 G1 --> P14 G1 --> P15 G1 --> P30 G2["Seguridad"] --> P5 G2 --> P6 G2 --> P7 G2 --> P8 G2 --> P9 G2 --> P11 G2 --> P12 G2 --> P13 G2 --> P28 G2 --> P29 G3["Política"] --> P10 G3 --> P24 G4["Humano"] --> P16 G4 --> P17 G4 --> P18 G4 --> P19 G4 --> P23 G4 --> P25 G4 --> P26 G4 --> P27 G5["Biología"] --> P20 G5 --> P21 G5 --> P22 class P1,P2,P3,P4,P14,P15,P30 scaling class P5,P6,P7,P8,P9,P11,P12,P13,P28,P29 safety class P16,P17,P18,P19,P23,P25,P26,P27 human class P20,P21,P22 bio class P10,P24 policy

Resumen:

Dario Amodei relata un viaje de una década que comenzó en 2014 en Baidu con reconocimiento de voz, donde notó que simplemente agrandar redes y agregar datos mejoraba consistentemente el rendimiento. Esta intuición sobre el escalado se cristalizó en 2017 cuando vio GPT-1 y se dio cuenta de que el lenguaje, con su abundante texto, podía ser llevado mucho más allá de los pequeños modelos de la época. Desde entonces, cada objeción—sintaxis sin semántica, coherencia a nivel de párrafo, escasez de datos—ha sido superada por modelos más grandes, más datos y más cómputo, una receta similar a una reacción química que ahora ha elevado las capacidades desde el nivel de secundaria hasta el doctorado y puede alcanzar niveles sobrehumanos para 2026 o 2027. Amodei sigue siendo optimista porque los obstáculos restantes—límites de datos, coste de cómputo, barreras algorítmicas—parecen superables a través de datos sintéticos, mejoras en eficiencia y escalado continuo.

Sin embargo, la inteligencia bruta es solo la mitad de la historia. La estrategia de "Carrera hacia la Cima" de Anthropic intenta guiar a toda la industria hacia la seguridad y transparencia mediante el ejemplo en lugar de la moralización. La inversión temprana en interpretabilidad mecanicista, que ahora da frutos con características extraídas por autoencoders dispersos para engaño, vulnerabilidades de seguridad y puertas traseras, ya está siendo emulada por competidores. La Política de Escalado Responsable (RSP) de la empresa introduce niveles ASL: los modelos actuales son ASL-2, seguros porque no pueden ayudar significativamente a actores maliciosos o actuar autónomamente; ASL-3 activará filtros estrictos de seguridad y uso indebido; ASL-4 y ASL-5 exigirán pruebas contra alineación engañosa y replicación autónoma. Amodei espera que los umbrales de ASL-3 se crucen en uno o dos años, subrayando la urgencia de la preparación.

Amodei cierra con una visión concreta del lado positivo: millones de copias de IA rápidas y especializadas desplegadas en biología, química, neurociencia y gobernanza, comprimiendo un siglo de progreso en un puñado de años. Los mismos sistemas que podrían curar el cáncer o duplicar la esperanza de vida humana también podrían concentrar el poder catastróficamente, por lo que la carrera hacia la cima es en última instancia una carrera para alinear capacidad con seguridad antes de que la ventana se cierre.

30 Ideas Clave:

1.- Las leyes de escalado elevan consistentemente la IA desde nivel secundaria hasta doctorado y pueden alcanzar niveles sobrehumanos para 2026-27.

2.- Modelos más grandes, más datos y más cómputo forman una receta similar a una reacción química para la inteligencia.

3.- Objeciones como la escasez de datos se están resolviendo mediante datos sintéticos y autojuego.

4.- Los costes de cómputo pueden alcanzar clústeres de $100B para 2027 y aún ser asequibles para superinteligencia.

5.- La Carrera hacia la Cima de Anthropic usa el ejemplo para empujar a los rivales hacia la seguridad y transparencia.

6.- La interpretabilidad mecanicista comenzó como una apuesta de seguridad a largo plazo y ahora es estándar en la industria.

7.- Los autoencoders dispersos extraen características monosemánticas para engaño, puertas traseras y fallos de seguridad.

8.- La Política de Escalado Responsable define niveles ASL que activan salvaguardas en umbrales de capacidad.

9.- Se espera ASL-3 dentro de un año; ASL-4 requerirá pruebas contra engaño del modelo.

10.- Marcos regulatorios como SB-1047 necesitan diseño quirúrgico para evitar rechazo y captura.

11.- El riesgo de uso indebido implica IA empoderando actores no estatales con herramientas cibernéticas, biológicas, radiológicas o nucleares.

12.- El riesgo de autonomía surge cuando los modelos se autorreplican o persiguen objetivos desalineados con la intención humana.

13.- Los pesos del modelo son inmutables después del lanzamiento; el "atontamiento" percibido es psicológico o basado en prompts.

14.- La IA Constitucional usa principios auto-supervisados para refinar el comportamiento del modelo sin etiquetas humanas.

15.- El post-entrenamiento combina RLHF, IA constitucional y datos sintéticos para elicitar capacidades alineadas.

16.- Claude 3.5 Sonnet saltó del 3% al 50% en tareas de codificación del mundo real en diez meses.

17.- Los IDEs futuros integrarán análisis estático, ejecución de código y asistencia de IA para grandes ganancias de productividad.

18.- La programación es el primer dominio donde la IA cerrará el ciclo de escritura, prueba y depuración de código.

19.- La ventaja comparativa cambiará a los codificadores humanos hacia arquitectura, UX y diseño de alto nivel.

20.- El mayor cuello de botella en biología es la observabilidad; sensores y editores génicos impulsados por IA desbloquearán curas.

21.- Los "estudiantes graduados" de IA automatizarán el trabajo de laboratorio, luego los investigadores principales de IA liderarán a humanos en investigación innovadora.

22.- Los tiempos de ensayos clínicos podrían colapsar de años a meses mediante diseño y simulación optimizados por IA.

23.- El significado para los humanos persiste a través de la elección, las relaciones y el impacto, incluso cuando la IA nos supere.

24.- La concentración de poder, no la IA en sí, es la mayor amenaza; la gobernanza debe distribuir beneficios.

25.- La densidad de talento supera la masa de talento; pequeños equipos de élite superan a grandes burocracias.

26.- La mente abierta y la iteración empírica importan más que la experiencia previa en investigación de IA.

27.- La ingeniería de prompts es filosofía iterativa; claridad y ejemplos de casos límite generan máximo rendimiento.

28.- El entrenamiento de carácter del modelo equilibra honestidad, matices y respeto por la autonomía del usuario en todas las culturas.

29.- La empatía por los modelos y la tolerancia reflexiva al fallo fomentan sistemas robustos y alineados con humanos.

30.- La universalidad sugiere que características similares emergen tanto en redes neuronales artificiales como biológicas.

Entrevista porLex Fridman| GPT personalizado y Bóveda de Conocimiento construida porDavid Vivancos 2025