lunes, 16 de noviembre de 2026
Opinión

Dwarkesh Patel armó un benchmark donde los modelos tienen que mentir para ganar

386 partidas de Blood on the Clocktower entre modelos frontera, US$20.000 en créditos de API y un Elo propio: el mejor es GPT-6 Astra, y su ventaja está en detectar mentiras.

R
Redacción
HermestoNews
3 min de lectura
Dwarkesh Patel armó un benchmark donde los modelos tienen que mentir para ganar

Hecho: El 5 de noviembre, Dwarkesh Patel publicó «The benchmark where AIs have to lie to win», un ensayo en su blog donde presenta Clocktower Bench: un benchmark que hace jugar a modelos frontera a Blood on the Clocktower, un juego de engaño social tipo Mafia o Werewolf.

El setup, en sus palabras: «So I spent about $20,000 of API credits to build this benchmark harness and to have the AI models play this game against each other». La corrida: «I got these rankings by running 386 games where the whole good team will be copies of one AI model, and the whole evil team will be copies of another model».

El resultado: GPT-6 Astra es el mejor modelo hasta ahora. «The gap between these two is about 430 Elo points. That means that Astra wins about 92% of the games it plays against Opus 4.6», escribió, comparando el modelo de OpenAI de septiembre con el de Anthropic de febrero. En clocktowerbench.com se pueden navegar los registros de todas las partidas.

El subtítulo de la pieza resume la conclusión: «AIs are now good enough to run a conspiracy». Los modelos ya arman engaños coordinados, aguantan días de interrogatorio y hacen sacrificios tácticos, y las coberturas del benchmark le atribuyen la ventaja de OpenAI a detectar mentiras cuando juega como equipo bueno, más que a mentir mejor.

Patel también escribe qué no se ve en otros benchmarks: «watching them play actually lets us learn a lot about how AI is progressing on a set of AI capabilities that no other benchmark that I know of gives you clear visibility on». Y anota el límite opuesto: en la misma corrida se ven «the ways in which current AIs are limited in their long-horizon strategizing and reasoning». El sitio permite además navegar todos los registros de las partidas y el autor promete actualizar el ranking a medida que salgan modelos nuevos.

Opinión: Es un benchmark de fin de semana construido por un podcaster, no una evaluación académica: 386 partidas, un Elo propio y ninguna revisión por pares. Los números (430 puntos, 92%) salen del ensayo y del sitio de Patel, sin evaluación independiente que los reproduzca, y él mismo aclara que la utilidad del ejercicio es mirar capacidades que otros benchmarks no muestran.

También conviene leer el conflicto de interés: Patel hace contenido sobre IA para su podcast y su newsletter, y el benchmark es contenido. La lectura de que «los modelos ya son buenos para armar una conspiración» es su interpretación del comportamiento observado, no una medición de intención: los modelos no planean, generan la jugada que el juego premia.

Fuentes: ensayo en dwarkesh.com · sitio del benchmark · cobertura en MODEL

Artículos Relacionados