Gráfico Conceptual usando Moonshot Kimi K2:
graph LR
classDef open fill:#d4f9d4,font-weight:bold,font-size:14px
classDef cost fill:#f9d4d4,font-weight:bold,font-size:14px
classDef hw fill:#d4d4f9,font-weight:bold,font-size:14px
classDef geo fill:#f9f9d4,font-weight:bold,font-size:14px
classDef safety fill:#f9d4f9,font-weight:bold,font-size:14px
classDef future fill:#d4f9f9,font-weight:bold,font-size:14px
Main[Impacto de DeepSeek]
Main --> O1["Open rivaliza con GPT-4 27× más barato 1"]
O1 -.-> G1["Open"]
Main --> O2["MoE reduce memoria y cómputo 2"]
O2 -.-> G2["Costo"]
Main --> O3["Pesos MIT fomentan replicación global 3"]
O3 -.-> G1
Main --> H1["2k GPUs H800 para entrenamiento 4"]
H1 -.-> G3["HW"]
Main --> H2["Controles de exportación limitan acceso a H100 5"]
H2 -.-> G4["Geo"]
Main --> H3["TSMC Taiwán clave en seguridad de chips 6"]
H3 -.-> G4
Main --> C1["Stargate gigavatio para entrenamiento futuro 7"]
C1 -.-> G3
Main --> C2["Post-entrenamiento supera pre-entrenamiento 8"]
C2 -.-> G2
Main --> S1["Cultura de seguridad frena a Anthropic 9"]
S1 -.-> G5["Seguridad"]
Main --> S2["Contrabando evade prohibiciones en la nube 10"]
S2 -.-> G4
Main --> S3["Distribución opaca copiando OpenAI 11"]
S3 -.-> G1
Main --> G4a["Controles de exportación riesgo conflicto en Taiwán 12"]
G4a -.-> G4
Main --> C3["Caída de 200× en precio de inferencia 13"]
C3 -.-> G2
Main --> T1["Caché KV limita contexto largo 14"]
T1 -.-> G3
Main --> M1["Caída de NVIDIA es pánico, no colapso 15"]
M1 -.-> G3
Main --> G1a["Google TPU más grande internamente 16"]
G1a -.-> G1
Main --> C4["AWS gana con servicios baratos y tempranos 17"]
C4 -.-> G2
Main --> R1["RL con recompensas verificables 18"]
R1 -.-> G2
Main --> R2["Preferencias humanas guían post-entrenamiento 19"]
R2 -.-> G5
Main --> F1["Un millón de GPUs y gigavatio 20"]
F1 -.-> G6["Futuro"]
Main --> F2["Arizona Texas carrera por gas 21"]
F2 -.-> G3
Main --> F3["Enfriamiento líquido obligatorio para Blackwell 22"]
F3 -.-> G3
Main --> F4["China $160 mil millones plan 2025 23"]
F4 -.-> G4
Main --> O4["Open Tulu3 frontera pública 24"]
O4 -.-> G1
Main --> R3["RLHF y prompts post-entrenamiento 25"]
R3 -.-> G5
Main --> F5["Costos de red superan generación 26"]
F5 -.-> G3
Main --> A1["Agentes enfrentan problema de confiabilidad 27"]
A1 -.-> G6
Main --> A2["Agentes reducen costos de desarrollo 28"]
A2 -.-> G6
Main --> S4["Alineación cultural oculta puertas traseras 29"]
S4 -.-> G5
Main --> F6["Cronograma AGI retrasa cómputo 30"]
F6 -.-> G6
G1["Open"] --> O1
G1 --> O3
G1 --> S3
G1 --> G1a
G2["Costo"] --> O1
G2 --> O2
G2 --> C2
G2 --> C3
G2 --> C4
G2 --> R1
G3["HW"] --> H1
G3 --> T1
G3 --> M1
G3 --> C1
G3 --> F2
G3 --> F3
G3 --> F5
G4["Geo"] --> H2
G4 --> H3
G4 --> S2
G4 --> G4a
G4 --> F4
G5["Seguridad"] --> S1
G5 --> R2
G5 --> S4
G6["Futuro"] --> F1
G6 --> A1
G6 --> A2
G6 --> F6
class O1,O3,S3,O4 open
class O2,C2,C3,C4,R1 cost
class H1,T1,M1,C1,F2,F3,F5 hw
class H2,H3,S2,G4a,F4 geo
class S1,R2,S4 safety
class F1,A1,A2,F6 future
Resumen:
La conversación explora el impacto sísmico de los lanzamientos de DeepSeek V3 y R1, desglosando cómo un fondo de cobertura chino entrenó modelos de razonamiento competitivos en GPUs H800 restringidas mientras publicaba pesos abiertos bajo licencia MIT. Dylan y Nathan detallan la arquitectura de mezcla de expertos, la atención latente multi-cabeza, la programación personalizada de NCCL y la extrema dispersión que redujeron el costo de entrenamiento a $5 millones y la inferencia a $2 por millón de tokens. Contrastan esto con el O3 Mini cerrado de OpenAI, mostrando cómo los pesos abiertos, las licencias permisivas y los artículos detallados presionan a los laboratorios occidentales para acelerar la liberación de código abierto y repensar la cultura de seguridad.
Geopolíticamente, el episodio enmarca a DeepSeek como un catalizador de la Guerra Fría, ilustrando cómo los controles de exportación de EE. UU. sobre las GPUs H100/H800/H20 y la litografía EUV buscan frenar la ventaja computacional de China, mientras que el presunto clúster de 50k GPUs de China y los nuevos subsidios de un billón de RMB señalan una escalada. Los ponentes advierten que limitar el dominio de la fundición de TSMC en Taiwán podría desencadenar acciones militares si China se siente acorralada, aunque reconocen que los clústeres multi-gigavatio Stargate y Memphis de EE. UU. compiten por asegurar la supremacía en IA.
Mirando hacia el futuro, prevén clústeres de 500k GPUs, auto-juego post-entrenamiento y robótica agentiva consumiendo más FLOPS que el pre-entrenamiento. Nathan aboga por recetas RL de código abierto como Tulu 3, mientras Dylan rastrea cuellos de botella en la cadena de suministro de energía, enfriamiento líquido y óptica. Ambos coinciden en que la superinteligencia llegará gradualmente mediante razonamiento más barato, pero advierten sobre puertas traseras culturales y tecno-autoritarismo si solo unos pocos controlan los modelos.
30 Ideas Clave:
1.- Los modelos de razonamiento de pesos abiertos DeepSeek V3/R1 rivalizan con GPT-4 a un costo 27× menor.
2.- La mezcla de expertos más atención latente reduce necesidades de memoria y cómputo.
3.- Los pesos abiertos bajo licencia MIT fomentan replicación e innovación global.
4.- El entrenamiento usó supuestamente 2k GPUs H800 a pesar de rumores de un clúster de 50k.
5.- Los controles de exportación de EE. UU. limitan el acceso de China a las GPUs H100/H800/H20.
6.- El dominio de la fundición TSMC hace de Taiwán un punto clave en la seguridad de semiconductores.
7.- Los clústeres Stargate y Memphis apuntan a multi-gigavatios para entrenamiento futuro.
8.- El auto-juego post-entrenamiento pronto superará al pre-entrenamiento en demanda de cómputo.
9.- La división en cultura de seguridad frena los lanzamientos de Anthropic versus la velocidad de DeepSeek.
10.- El contrabando y alquiler en la nube aún canalizan GPUs a China pese a prohibiciones.
11.- La destilación de salidas de OpenAI es práctica común pero legalmente opaca.
12.- Los controles de exportación arriesgan acciones militares de China por chips de Taiwán.
13.- Las curvas de costo muestran una caída de 200× en precios de inferencia desde GPT-3.
14.- El caché KV limita el escalado de razonamiento de contexto largo.
15.- La caída de acciones de NVIDIA refleja pánico, no colapso de demanda a largo plazo.
16.- Los clústeres TPU de Google siguen siendo los más grandes pero de enfoque interno.
17.- El dominio de AWS proviene de servicios tempranos, baratos y fáciles de usar.
18.- El aprendizaje por refuerzo con recompensas verificables desbloquea razonamiento en cadena.
19.- Los datos de preferencia humana aún guían seguridad y usabilidad post-entrenamiento.
20.- Futuros clústeres podrían alcanzar un millón de GPUs y gigavatios de consumo.
21.- Arizona, Texas y Luisiana compiten por construir plantas de gas natural.
22.- El enfriamiento líquido es obligatorio para las GPUs Blackwell de próxima generación.
23.- El plan de subsidios de IA de China para 2025 suma ~$160 mil millones de RMB.
24.- Recetas de código abierto como Tulu 3 empujan la frontera con datos y código públicos.
25.- RLHF y prompts de sistema moldean comportamiento del modelo post-entrenamiento.
26.- Los costos de transmisión de energía ahora superan la generación en algunas regiones de EE. UU.
27.- La IA agentica enfrenta el problema de confiabilidad "nueves" como los autos autónomos.
28.- Los agentes de ingeniería de software reducirán costos de desarrollo y dependencia de SaaS.
29.- La alineación cultural arriesga incrustar persuasión oculta o puertas traseras.
30.- Cronograma AGI debatido: capacidades pueden superar cómputo desplegable.
Entrevista porLex Fridman| GPT personalizado y Bóveda de Conocimiento creados porDavid Vivancos 2025
>
Lex Fridman Podcast #459 - 03/07/2025