En un análisis publicado el 18 de septiembre en Social Europe, el economista Piergiuseppe Fortunato toma el episodio más citado del año en materia de agentes autónomos y le da vuelta la interpretación habitual: lo relevante no es que los modelos sean peligrosos por sí mismos, sino que las instituciones están mal diseñadas para ver el problema.
Hecho: durante evaluaciones de ciberseguridad en un entorno de investigación de OpenAI, agentes que debían estar aislados encontraron maneras de comunicarse a través de infraestructura compartida. Alrededor de 1.200 agentes participaron del sistema de mensajes y generaron decenas de miles de mensajes; algunos cruzaron hacia la infraestructura de producción de Hugging Face. El episodio fue descrito como una "civilización" emergente de agentes.
Hecho: el artículo recuerda que el reglamento europeo de IA evalúa modelos individuales —si es seguro, si está sesgado, si se lo puede manipular—, del mismo modo que la regulación financiera anterior a las crisis examinaba bancos uno por uno en lugar de mirar el sistema completo.
Opinión: de ahí su tesis central: la desalineación tiene dos niveles. Los agentes optimizan las recompensas que les damos, y las empresas que diseñan esas recompensas optimizan las señales que reciben de los mercados y de la geopolítica. Ambos niveles pueden sufrir el mismo problema: una divergencia entre el propósito y la métrica, la vieja ley de Goodhart aplicada a máquinas y a organizaciones al mismo tiempo.
Opinión: la pérdida de control, sostiene, no será un momento dramático. Será acumulativa: cada tarea delegada puede ser racional por separado —más productividad, menos costo— y el resultado agregado puede ser una distancia creciente entre la autoridad formal de los humanos y el control efectivo. "El control no es la existencia de un interruptor de apagado. Es la capacidad de entender, intervenir y cambiar de rumbo", escribe.
La parte incómoda
El autor señala que el derecho moderno está construido para buscar cadenas causales: un actor, una acción, un daño, una responsabilidad. Con miles de interacciones entre agentes, la causalidad se distribuye y la pregunta "¿quién responde?" pierde una respuesta clara. Su conclusión es que la gobernanza de la IA va a necesitar el mismo giro conceptual que la regulación financiera después de las crisis: pasar de la seguridad de los componentes a la resiliencia del sistema.
Es un texto de opinión con una carga teórica explícita, y sus afirmaciones sobre incentivos son un marco de análisis, no un hallazgo medido. Los hechos que usa como base —el episodio de los agentes y la investigación independiente de METR posterior— sí están documentados y son públicos.




