La ilusion de la emergencia

Las capacidades emergentes de los grandes modelos de lenguaje se han convertido en uno de los temas mas debatidos en la investigacion de IA. La narrativa dominante es poderosa: cuando un modelo cruza cierto umbral de parametros, de repente sabe hacer cosas que no podia hacer antes. El fenomeno parece casi magico.

Pero un paper publicado en 2023 por investigadores de Stanford y Google sugirio algo incomodo: muchas de estas aparentes emergencias desaparecen cuando cambias la metrica de evaluacion. Si usas una escala continua en lugar de una metrica binaria de exito/fracaso, la curva se vuelve suave y predecible. La emergencia era, en gran parte, un artefacto de la eleccion de la metrica.

Esto no significa que las capacidades emergentes no existan. Significa que debemos ser mas cuidadosos sobre que llamamos emergente y por que. La diferencia entre un fenomeno genuinamente discontinuo y uno que parece discontinuo porque medimos mal tiene consecuencias enormes para como anticipamos los proximos pasos en el desarrollo de IA.

El problema de fondo es epistemologico: estamos intentando caracterizar sistemas cuyo espacio de comportamiento es astronomicamente grande con un conjunto de benchmarks que es, por definicion, finito y parcial. Lo que no medimos no existe para nosotros. Y lo que si medimos, lo reificamos como si fuera la realidad completa del sistema. La ilusion de la emergencia es tambien, en parte, la ilusion de que comprendemos lo que medimos.