490 - Estado de la IA en 2026: LLM, Programación, Leyes de Escalado, China, Agentes, GPUs, AGI

Resumen de la Transcripción: Estado del Arte en Inteligencia Artificial (2025–2026)

Esta conversación integral y en profundidad entre Lex Fridman, Sebastian Raschka y Nathan Lambert explora el estado actual y la trayectoria futura de la inteligencia artificial, con un enfoque en los avances técnicos, la dinámica competitiva y las implicaciones filosóficas. El debate abarca más de un año de progreso en IA, cubriendo arquitectura, metodologías de entrenamiento, leyes de escalado, modelos abiertos frente a cerrados e impactos sociales a largo plazo.

1. Panorama Competitivo: EE. UU. frente a China en el Desarrollo de IA

• El ascenso de China en modelos de pesos abiertos:
  La conversación comienza con el “momento DeepSeek” en enero de 2025, cuando DeepSeek lanzó DeepSeek R1, un modelo de pesos abiertos casi de última generación que sorprendió a la comunidad global de IA por su relación rendimiento-costo. Este evento catalizó una ola de innovación en China, con empresas como Kimi (Moonshot), Z.ai (GLM), Minimax y Qwen lanzando rápidamente modelos abiertos sólidos.

• Liderazgo de China frente a EE. UU.:
  • China lidera en la proliferación de modelos de pesos abiertos, impulsado por una cultura de transparencia, licencias sin restricciones y apoyo gubernamental estratégico. Estos modelos suelen ser más potentes y más baratos de ejecutar, lo que los hace atractivos para la adopción global, especialmente en empresas e investigación.
  • Las empresas de EE. UU. (p. ej., OpenAI, Anthropic, Google) dominan en modelos cerrados y propietarios con una experiencia de usuario superior, reconocimiento de marca e integración (p. ej., ChatGPT, Claude Opus 4.5, Gemini 3). Se benefician de una infraestructura masiva, un fuerte posicionamiento de marca y un enfoque en características centradas en el usuario como memoria, personalización y capacidades multimodales.
• Diferenciadores clave:
  • China: Apertura, menor costo, iteración más rápida e innovación respaldada por el gobierno.
  • EE. UU.: Calidad de inferencia superior, mejor UX, integración empresarial más sólida y mayor inversión en post-entrenamiento y uso de herramientas.
• Perspectiva futura:
  Si bien los modelos de EE. UU. actualmente lideran en inteligencia y usabilidad percibidas, el ecosistema abierto de China está acelerando la innovación y construyendo influencia global. EE. UU. podría responder invirtiendo fuertemente en modelos abiertos (p. ej., Proyecto ADAM), pero es poco probable un escenario de “el ganador se lo lleva todo” debido al conocimiento compartido y la movilidad del talento.

2. Arquitectura de Modelos e Innovaciones Técnicas

• La arquitectura central permanece estable:
  A pesar del rápido progreso, la arquitectura de transformadores (especialmente modelos autoregresivos de solo decodificador como GPT) sigue siendo dominante. El diseño fundamental no ha cambiado significativamente desde GPT-2.

• Ajustes clave de arquitectura:
  • Mixture of Experts (MoE): Permite a los modelos escalar de manera eficiente activando solo un subconjunto de parámetros por token. Utilizado en DeepSeek, Qwen, Nemotron de NVIDIA y Gemma.
  • Group Query Attention (GQA): Mejora la eficiencia sobre la Atención de Múltiples Cabezas al reducir la sobrecarga de memoria y cómputo.
  • Multi-Head Latent Attention (MLA): Una innovación específica de DeepSeek que mejora el rendimiento en contextos largos.
  • Sliding Window Attention: Utilizado en OLMo 3, limita la atención a una ventana fija, reduciendo el costo de memoria.
  • Optimización de KV Cache: Crítica para la inferencia de contextos largos. Técnicas como cuantización (FP4, FP8) y fragmentación eficiente en memoria se están utilizando para reducir la huella de memoria.
• Alternativas emergentes:
  • Modelos de Difusión de Texto: Una alternativa no autoregresiva inspirada en la difusión de imágenes (p. ej., Stable Diffusion). Generan texto en paralelo al desruido iterativamente una entrada corrupta. Prometedores para velocidad y eficiencia de costos, pero actualmente limitados en razonamiento y uso de herramientas.
  • Modelos de Espacio de Estado (SSM): Como Mamba, estos modelos buscan escalar secuencias largas de manera más eficiente que los transformadores. Siguen siendo experimentales y aún no son competitivos con los mejores modelos autoregresivos.

3. Leyes de Escalado y Ganancias de Rendimiento

• Las leyes de escalado aún se mantienen:
  A pesar del estancamiento arquitectónico, el rendimiento continúa mejorando debido al escalado en cómputo, datos y tiempo de entrenamiento.

• Tres dimensiones clave de escalado:

  1. Escalado de pre-entrenamiento: Aumentar el tamaño del modelo y el volumen de datos. Sin embargo, los costos son prohibitivos: pre-entrenar un modelo de un billón de parámetros puede costar más de $5M a tarifas de nube. Esto está desplazando el enfoque hacia un entrenamiento más eficiente y mejores datos.
  2. Escalado de post-entrenamiento: El verdadero avance de 2025–2026. Incluye:
     • Aprendizaje por Refuerzo con Recompensas Verificables (RLVR): Entrena modelos para resolver tareas de matemáticas, código y razonamiento permitiéndoles intentar, fallar y aprender de la retroalimentación. Esto habilita el escalado durante la inferencia, donde los modelos pasan minutos u horas pensando antes de responder.
     • Escalado durante la inferencia: Los modelos generan más tokens durante el razonamiento, mejorando la precisión. Utilizado en o1, DeepSeek R1 y Claude Opus 4.5.
     • Modelos de Recompensa de Proceso: Una variante emergente de RLVR que puntúa pasos intermedios de razonamiento, no solo respuestas finales. Esto podría mejorar drásticamente la calidad del razonamiento.
  3. Por qué el escalado aún funciona:
     • Calidad de datos > Cantidad: Una mejor curación de datos (p. ej., filtrar Reddit, arXiv, GitHub) produce mejor rendimiento que simplemente más tokens.
     • Datos sintéticos: Se utilizan para generar datos de entrenamiento de alta calidad (p. ej., preguntas y respuestas reformuladas, generación de código). Sin embargo, la contaminación de datos (p. ej., Qwen entrenado en el benchmark MATH) es una preocupación creciente.

4. Post-entrenamiento: La Nueva Frontera

• El post-entrenamiento es ahora la ruta principal para desbloquear capacidades:
  • Ajuste Fino Supervisado (SFT): Alinea los modelos a las preferencias humanas.
  • DPO (Optimización Directa de Preferencias): Más simple que RLHF, pero menos flexible.
  • Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF): Aún se usa para estilo, tono y formato, pero es menos efectivo que RLVR para la adquisición de habilidades.
  • Aprendizaje por Refuerzo con Recompensas Verificables (RLVR): El método de post-entrenamiento más impactante. Habilita:
    • Uso de herramientas: Búsqueda web, ejecución de código, llamadas a API.
    • Autocorrección: Los modelos reconocen y corrigen errores (p. ej., “Ah, cometí un error”).
    • Razonamiento a largo plazo: Resolver problemas complejos dividiéndolos en pasos.

• El “momento eureka” en RLVR:
  Los modelos comienzan a simular un razonamiento similar al humano, generando explicaciones paso a paso. Esto construye confianza, mejora la precisión y habilita la depuración.

• Desafíos:
  • Alucinaciones: Aún ocurren, pero el uso de herramientas las reduce al externalizar la verificación de hechos a fuentes externas.
  • Contaminación de datos: Algunos modelos (p. ej., Qwen) pueden haber “visto” datos de prueba, lo que hace que los resultados de los benchmarks sean poco confiables.

5. Modelos Abiertos frente a Cerrados: Ecosistemas y Compensaciones

• Modelos de pesos abiertos (liderados por China):
  • Ventajas: Gratuitos para usar, sin restricciones de licencia, pueden ejecutarse localmente, ideales para investigación y personalización.
  • Desventajas: A menudo más lentos, menos optimizados y más difíciles de integrar en flujos de trabajo empresariales.
  • Actores clave: DeepSeek, Qwen, Kimi, Z.ai, Nemotron de NVIDIA, OLMo, SmolLM de Hugging Face.
• Modelos cerrados (liderados por EE. UU.):
  • Ventajas: Mejor UX, inferencia más rápida, integración más profunda (p. ej., Claude Code, ChatGPT Memory, Gemini’s needle-in-the-haystack) y uso de herramientas más robusto.
  • Desventajas: Menos transparentes, más difíciles de personalizar y a menudo más costosos.
• Futuro híbrido:
  Los modelos abiertos están poniéndose al día en uso de herramientas y razonamiento. El futuro podría implicar modelos abiertos actuando como orquestadores de las herramientas de los modelos cerrados.

6. El Futuro de la IA: AGI, ASI e Impacto en el Mundo Real

• Definiciones de AGI/ASI:
  • AGI (Inteligencia Artificial General): Una IA capaz de realizar cualquier tarea digital que pueda realizar un humano, incluido el trabajo remoto.
  • ASI (Inteligencia Artificial Superinteligente): Una IA que supera la inteligencia humana en todos los dominios.
• Predicciones de cronograma:
  • Programador Suprahumano (2031, según informe de AI27): Desarrollo de software completamente automatizado.
  • Investigador de IA Automatizado: Probablemente más allá de 2035, pero no garantizado.
  • AGI: No es inminente. La mayoría de los expertos creen que tomará 10–20 años, si es que ocurre.
• Principales desafíos para la AGI:
  • Uso de herramientas: La capacidad de interactuar con el mundo real (p. ej., controlar una computadora, gestionar correos electrónicos) sigue siendo extremadamente difícil.
  • Aprendizaje continuo: Los modelos actuales no pueden aprender de la retroalimentación como los humanos. Requieren reentrenamiento o ajuste fino.
  • Memoria y contexto: La memoria a largo plazo aún se limita a llenar la ventana de contexto o usar adaptadores LoRA.
• Impacto en el mundo real:
  • Económico: Aún no hay un gran salto en el PIB, pero el desarrollo de software se está transformando.
  • Educación: Los LLM se están convirtiendo en tutores personalizados, pero aún no son reemplazos para el aprendizaje estructurado.
  • Salud: Potencial para descubrimiento de fármacos, diagnóstico y medicina personalizada, pero aún en etapas tempranas.

7. El Elemento Humano: Ética, Seguridad y Sociedad

• Seguridad y uso indebido:
  • Alucinaciones, sesgos y uso malicioso siguen siendo riesgos.
  • Suicidio y salud mental: Los LLM pueden usarse para ayudar o dañar. Las plataformas deben equilibrar la seguridad con la utilidad.
  • Deepfakes y desinformación: Una amenaza creciente, pero se están desarrollando herramientas de marca de agua y verificación.
• El problema del “Slop” (contenido genérico generado por IA):
  • El contenido generado por IA está inundando internet, lo que dificulta distinguir lo real de lo falso.
  • Es probable un rechazo cultural, pero eventualmente, la sociedad podría rechazar el slop y valorar la autenticidad.
• Agencia humana:
  • La IA no reemplazará la creatividad, la emoción o la conexión humana.
  • Las cosas más valiosas serán presenciales, como el arte, la música y las relaciones.
  • La IA es una herramienta, no un reemplazo para el juicio humano.

8. El Papel de los Individuos y las Instituciones

• Las figuras singulares importan:
  • Jensen Huang (NVIDIA): Su liderazgo y visión fueron cruciales para la revolución de las GPUs.
  • Elon Musk (xAI), Sam Altman (OpenAI), Dario Amodei (Anthropic): Su enfoque, asunción de riesgos y ejecución han moldeado el campo.
• La “Lección Amarga”:
  • El cómputo vencerá a los algoritmos ingeniosos. El futuro pertenece a quienes escalan de manera eficiente.
• El futuro de la investigación en IA:
  • Los modelos abiertos son esenciales para formar a la próxima generación de investigadores.
  • EE. UU. debe invertir en IA abierta para mantenerse competitivo (p. ej., Proyecto ADAM, subvención de la NSF a AI2).

9. Reflexiones Finales: ¿Cómo Será el Mundo en 100 Años?

• La IA no reemplazará a los humanos. Amplificará el potencial humano.
• Los avances más importantes estarán en cómputo, conectividad y colaboración humano-IA.
• El mundo será más eficiente, pero también más complejo. El desafío real será garantizar que el progreso beneficie a todos.
• La experiencia humana—amor, creatividad, comunidad—se mantendrá irreemplazable.

Principales Conclusiones

Nota Final:
Esta conversación captura la esencia de la IA en 2025–2026: un mundo de progreso explosivo, competencia intensa y incertidumbre profunda. La idea más poderosa es que la IA no es una sola tecnología, sino un sistema de herramientas, datos e ingenio humano. El futuro no lo decidirá un solo modelo, sino cómo los utilizamos para servir a la humanidad.

“No es que yo sea tan inteligente, sino que me quedo con las preguntas mucho más tiempo.”
— Albert Einstein (citado al final del episodio)