El Fin Del Conocimiento - Vault 2 - ICLR (2014-2023)

graph LR classDef AI fill:#f9d4d4,stroke-width:2px classDef market fill:#d4f9d4,stroke-width:2px classDef research fill:#d4d4f9,stroke-width:2px classDef ray fill:#f9f9d4,stroke-width:2px classDef future fill:#f9d4f9,stroke-width:2px A[Michael I. Jordan
ICLR 2020] --> B[IA: sistemas a escala planetaria
humanos-computadoras 1] B --> C[Construcción de sistemas
análogos a la ingeniería 2] A --> D[1990s: ML emergió
en el mundo real 3] A --> E[Actual: reconocimiento de patrones
con redes neuronales 4] A --> F[Próximo: redes de decisiones
planetarias, mercados 5] F --> G[Las decisiones necesitan barras de error
experimentos 6] F --> H[Mercados: algoritmos de decisiones
descentralizados 7] H --> I[Los mercados manejan el equilibrio
de carga naturalmente 8] H --> J[Mercados de productor-consumidor
bidireccionales atacan la escasez 9] A --> K[Investigación: exploración multi-vía,
UCB, FDR 10] K --> L[Bandidos multi-brazo
con competencia 11] K --> M[La exploración UCB mejora
el arrepentimiento de Q-learning 12] K --> N[FDR importante en
pruebas múltiples 13] N --> O[Algoritmos FDR en línea
controlan errores 14] A --> P[Objetivo: ML distribuido
para decisiones 15] P --> Q[Ray: de portátil a
nube ML 16] Q --> R[Ray: tareas distribuidas en Python
actores 17] Q --> S[Ray usado para
recomendadores rápidos 18] A --> T[Reconocimiento de patrones
no es suficiente 19] A --> U[El futuro del ML necesita
economía, mercados 20] class A,B,E AI class F,H,I,J market class K,L,M,N,O research class P,Q,R,S ray class T,U future

Resumen:

1.-El ponente ve la IA como la creación de sistemas a escala planetaria que involucran humanos, computadoras, flujos de datos, decisiones, aprendizaje y personalización para ayudar a los humanos a gran escala.

2.-Construir estos sistemas es análogo al desarrollo de campos como la ingeniería química y eléctrica para hacer que la química y la electricidad funcionen a gran escala en el mundo real.

3.-El aprendizaje automático emergió como un fenómeno del mundo real en los años 90 con sistemas como el backend de Amazon para detección de fraudes, gestión de la cadena de suministro y recomendaciones.

4.-La era actual se centra en el reconocimiento de patrones con redes neuronales, permitiendo el reconocimiento de voz, visión por computadora y traducción, pero es solo un componente.

5.-Lo próximo que emerge son redes de decisiones y flujos de datos a gran escala planetaria, involucrando conceptos de teoría de juegos, diseño de mercados y economía.

6.-Las decisiones del mundo real requieren barras de error, experimentos de "qué pasaría si", procedencia, diálogo, no solo establecer un umbral para una sola predicción, sin importar cuán bueno sea el sistema de aprendizaje.

7.-Los mercados pueden servir como algoritmos de decisiones descentralizados que son adaptativos, robustos, escalables con largas duraciones, análogos a la inteligencia. Surgen oportunidades de investigación combinando microeconomía y aprendizaje automático.

8.-Los problemas de equilibrio de carga surgen al recomendar el mismo elemento (por ejemplo, restaurante, acción, ruta) a demasiadas personas. Los mercados pueden manejar esto naturalmente.

9.-Los productores y consumidores deben estar vinculados en mercados bidireccionales basados en el análisis de datos para atacar la escasez, crear empleos y riqueza en dominios como la música.

10.-Las direcciones de investigación incluyen mercados de exploración multi-vía, agregando exploración UCB al aprendizaje por refuerzo, y controlando las tasas de descubrimiento falso en la toma de decisiones asincrónica en red.

11.-En bandidos multi-brazo con competencia, los agentes pueden elegir menos los brazos populares debido al conflicto, requiriendo teoría de juegos. El arrepentimiento logarítmico sigue siendo posible.

12.-Agregar exploración UCB al Q-learning lleva a mejorar los límites de arrepentimiento de raíz cuadrada en comparación con la exploración epsilon-greedy, conectando con RL basado en modelos.

13.-En pruebas de hipótesis múltiples, controlar la tasa de descubrimiento falso (FDR) es importante ya que la mayoría de los resultados sorprendentes amplificados tienden a ser los falsos.

14.-Existen algoritmos FDR en línea que controlan el FDR en cualquier momento asignando adaptativamente un presupuesto de error como función de los descubrimientos pasados.

15.-El ponente apunta a construir sistemas de ML distribuidos para la toma de decisiones complejas del mundo real, como un sistema médico mundial mejorado para responder a pandemias.

16.-Ray es un sistema distribuido para ML enfocado en decisiones que funciona desde un portátil hasta la nube, unificando bibliotecas para entrenamiento, servicio, RL, etc.

17.-Ray proporciona tareas distribuidas (funciones) y actores (objetos) en Python, permitiendo que el código se escale fácilmente con cambios mínimos. El rendimiento alcanza 1M de tareas/seg.

18.-Ray es de código abierto en GitHub, utilizado en producción por empresas para aplicaciones como la actualización rápida de sistemas de recomendación, mejorando las tasas de clics.

19.-Aunque el ML actual centrado en el reconocimiento de patrones es notable, es una mercancía y no es suficiente para decisiones trascendentales que requieren explicaciones y diálogo.

20.-Los sistemas de ML futuros deben incorporar ideas de economía y mercados para la toma de decisiones a gran escala. Surgirán nuevos problemas y mecanismos que abarcan ML y economía.

Vault de Conocimiento construido porDavid Vivancos 2024