lunes, 16 de noviembre de 2026
Opinión

Felipe Fontoura: no hay un modelo “mejor” para Hermes sin medir el runtime real

Fontoura propone elegir modelos midiendo el runtime real de Hermes: en su prueba, el mismo modelo rindió distinto al cambiar de harness.

FF
Felipe Fontoura
Ensayo independiente; el autor ejecuta Hermes en producción
4 min de lectura
Felipe Fontoura: no hay un modelo “mejor” para Hermes sin medir el runtime real

Hecho. El 29 de septiembre, el ingeniero Felipe Fontoura publicó un ensayo sobre selección de modelos para Hermes Agent. Su tesis parte de un test propio que, según relata, ejecutó el 8 de junio: una tarea de diseño de oferta, el mismo prompt y una misma rúbrica para cuatro combinaciones de modelo y runtime (ensayo original).

Datos declarados por el autor. En su tabla, GLM-5.1 mediante OpenCode obtuvo 9,55/10; Opus mediante el adaptador de Claude Code, 8,88; GLM-5.1 detrás de Paperclip y Hermes quedó entre 7,0 y 7,9; gpt-5.5 con Paperclip y Hermes obtuvo 6,7. Fontoura dice que comparó una sola tarea con un solo juez, no un benchmark general, y que la misma familia de modelo bajó entre 1,6 y 2,5 puntos al pasar por otra ruta. Son resultados de su prueba privada, no una evaluación externa ni evidencia de que esos modelos siempre se comporten así.

Su lectura: medir la ruta completa

Opinión de Fontoura: no existe un ganador universal para Hermes; hay un modelo que funciona mejor para una tarea concreta dentro del runtime que realmente se usa. La configuración de Hermes define proveedor, contexto, esfuerzo de razonamiento y formato de llamadas a herramientas, de modo que escoger solo por reputación o leaderboard puede ocultar una mala interacción entre instrucciones, persona y harness.

El autor atribuye parte del resultado a una diferencia de estructura del prompt que encontró al revisar la sesión: el mensaje de sistema de Hermes contenía la identidad del agente, mientras la persona requerida se añadía después como texto de usuario. Él interpreta que el modelo terminó adoptando una mezcla más genérica. Esa explicación es una hipótesis derivada de un caso, no una causa aislada demostrada experimentalmente.

La documentación de Hermes confirma que la selección del modelo reside en la configuración del runtime y que sus proveedores y slots auxiliares se administran por separado (proveedores compatibles; configuración de modelos). Esa arquitectura aporta contexto técnico al argumento, pero no valida las puntuaciones de Fontoura.

Su recomendación práctica es probar la misma tarea en la configuración real, definir qué significa una respuesta útil y empezar por el modelo más barato que cumpla el nivel requerido de razonamiento y uso de herramientas. Para trabajos de ejecución estrecha puede alcanzar un modelo económico; para sintetizar muchas fuentes o juzgar salidas quizá haga falta uno más capaz.

Alcance: el artículo se publicó en septiembre, pero el experimento que narra es de junio. No describe una mejora de Hermes ni una prueba realizada esta semana; su novedad es la recomendación editorial, que conviene leer como experiencia personal y no como ranking de modelos.

Artículos Relacionados