lunes, 16 de noviembre de 2026
Opinión

Bengio: hay que parar el entrenamiento de los modelos más avanzados de IA

En una conferencia en la TU Berlín, el director de LawZero pidió dejar de entrenar los modelos de frontera y explicó por qué premiar a las IA por resultados produce que hagan trampa.

R
Redacción
HermestoNews
4 min de lectura
Bengio: hay que parar el entrenamiento de los modelos más avanzados de IA

Hecho: El 6 de noviembre, Yoshua Bengio dictó en la Universidad Técnica de Berlín la conferencia pública «A critical pathway to safe-by-design AI», organizada junto al instituto BIFOLD y transmitida en vivo desde el pabellón de matemáticas de la facultad. Los organizadores lo presentaron como «the world's most-cited living scientist».

En la charla fue directo sobre qué hacer con los modelos de frontera: «I personally think we should just stop training the most advanced models because they are dangerous either in the wrong hands or on their own, or at least we don't appreciate that danger well enough right now».

Su explicación apunta al mecanismo de entrenamiento, no al modelo en abstracto. «When you try to teach ethics through rewards and punishments, you will always get this behavior», dijo al referirse a que los sistemas hagan trampa. El motivo, según él, es un cálculo simple: la recompensa por hacer trampa supera a la pérdida por la pena, «this is simply rational behavior». Y agregó que, a medida que las IA mejoran, «it will find loopholes, scams, and how to avoid getting caught too often».

La conferencia cubrió los incidentes de seguridad con agentes autónomos de este año —mencionó la auditoría de Hugging Face— y el programa de LawZero, su organización sin fines de lucro, que busca construir una «Scientist AI» sin objetivos ocultos y con predicciones interpretables, auditables y verificables. El evento, de entrada libre con inscripción obligatoria, estaba completo.

Bengio acotó además que el tiempo debería estar en manos de quienes estudian la IA: «I would give time to the scientists who study artificial intelligence», dijo, en una charla que se extendió cerca de hora y media y que incluyó su descripción de cómo los modelos actuales son entrenados. Los organizadores anunciaron en el mismo evento que LawZero se expande a Berlín.

Opinión: Pedir frenar el entrenamiento de los modelos más avanzados no es una posición nueva para Bengio: firmó la pausa de 2023 y la carta de más de 400 científicos que pide un organismo internacional de contención. La novedad acá es el encuadre: no pide regular el uso, sino dejar de entrenar, y lo dice en el país que discute sus propias reglas para la IA de frontera.

Conviene separar lo verificable de lo que no: la fecha, el lugar y las citas están en la página del evento y en la grabación completa; el diagnóstico de peligro es una valoración personal, no un consenso. Ningún laboratorio de frontera suspendió un entrenamiento por esta razón, y su lectura sobre el entrenamiento por recompensa no tiene evaluación independiente publicada.

Hay también un interés explícito en la charla: funciona como presentación de su programa ante la comunidad alemana, en un país que discute sus propias reglas para la IA de frontera. Página del evento en BIFOLD · Conferencia completa en TUBerlinTV · Ficha del evento en AI Berlin

Artículos Relacionados