La Inteligencia Artificial (IA) ha experimentado un crecimiento exponencial en los últimos años, particularmente con el surgimiento de modelos de lenguaje de gran tamaño como ChatGPT. Sin embargo, un creciente debate surge en Silicon Valley: ¿Se está desacelerando el avance hacia la Inteligencia Artificial General (AGI), capaz de igualar o superar la inteligencia humana?
El estancamiento de los LLM
La creencia predominante era que, al alimentar con más datos y potencia computacional a los grandes modelos lingüísticos (LLM), estos evolucionarían exponencialmente hacia la AGI. Esta premisa, que impulsó millonarias inversiones de empresas como OpenAI y Google, empieza a cuestionarse. A pesar del continuo aumento de datos y recursos, las mejoras en el rendimiento de estos modelos parecen estar alcanzando un límite.
Expertos como Gary Marcus, reconocido crítico de la IA, señalan que la idea de una AGI a través de un escalado continuo de LLM es una fantasía. Los avances, si bien notables, no se están produciendo a la velocidad inicialmente pronosticada. Un informe de Epoch AI predice el agotamiento de los datos de entrenamiento públicamente disponibles entre 2026 y 2032.
El problema de los datos
Una de las principales limitaciones es la cantidad finita de datos lingüísticos de alta calidad disponibles para entrenar la IA. Las empresas están recurriendo a acuerdos para usar datos de Reddit y medios, pero esto es temporal. A largo plazo, la escasez de datos de entrenamiento forzará el uso de datos sensibles, ahora privados, o datos sintéticos, los cuales son menos fiables. La calidad de los datos, más que la cantidad, parece ser la clave.
Según Scott Stevenson, CEO de Spellbook, la estrategia de simplemente acumular datos lingüísticos está destinada al fracaso. La clave no radica solo en la cantidad, sino en la calidad y, fundamentalmente, en cómo se usa esa información para mejorar el razonamiento de los modelos.
El enfoque en el tamaño, no la inteligencia
Sasha Luccioni, investigadora de Hugging Face, argumenta que la obsesión por crear modelos más grandes, en lugar de modelos más inteligentes, ha conducido a este estancamiento. La carrera por la potencia de cálculo podría estar desproporcionada con respecto a la innovación en el diseño de los modelos y algoritmos.
Este enfoque ‘cuanto más grande, mejor’ se acerca a sus límites y no ha resultado en la AGI prometida. Lo que se necesita no es solamente un aumento de la escala, sino un cambio en la metodología, enfocándose en la mejora de las capacidades de razonamiento y pensamiento crítico de la IA.
Un cambio de estrategia en OpenAI
El retraso en el lanzamiento del sucesor de GPT-4 por parte de OpenAI, según The Information, indica un cambio de enfoque dentro de la empresa. En lugar de seguir acumulando datos, se enfocan en la eficiencia del uso de la tecnología. El modelo o1, por ejemplo, busca mejorar la precisión mediante la optimización del razonamiento, no mediante un incremento de los datos de entrenamiento.
Esta nueva dirección es similar a lo que Stevenson propone, comparando el avance de la IA al descubrimiento del fuego. En vez de simplemente añadir más leña (datos), hay que usarlo para tareas específicas y más eficientes, concentrándose en optimizar la manera de utilizar la capacidad que ya se tiene.
Las perspectivas futuras
Mientras algunos, como Sam Altman, afirman que “no hay barreras”, otros son más cautelosos. El CEO de Anthropic, Dario Amodei, mantiene su optimismo, pero las señales de desaceleración son evidentes. El cambio de enfoque de OpenAI hacia un razonamiento más eficiente, en lugar de una acumulación masiva de datos, podría ser la nueva dirección del desarrollo de IA. La eficiencia, precisión y razonamiento parecen ser los nuevos pilares del progreso.
El profesor Walter De Brouwer de la Universidad de Stanford compara los LLM con estudiantes que pasan del instituto a la universidad: del aprendizaje de memorización a la necesidad de un razonamiento más profundo. El futuro de la IA no reside solo en el tamaño, sino en la capacidad de razonamiento crítico, la cual parece estar siendo el verdadero desafío en este momento.
En resumen, el camino hacia la AGI parece ser más complejo y largo de lo que se había previsto. El enfoque actual está cambiando de la simple acumulación de datos al desarrollo de algoritmos y técnicas que potencien el razonamiento y la eficiencia de la IA. La llegada de la AGI sigue siendo una incógnita, pero la carrera se está centrando en un enfoque más cualitativo, y no meramente cuantitativo.
