Prueba publicada el 1 de octubre de 2026. El medio japonés GIGAZINE volvió a ejecutar Hermes Agent con un modelo local, esta vez en una Intel Arc Pro B70 con 32 GB de VRAM. Usó Qwen3.8-27B para buscar y resumir artículos del propio sitio, el mismo tipo de tarea que antes había ensayado con una GPU de 16 GB y una cuantización de 2 bits (prueba de GIGAZINE).
El experimento expuso una diferencia entre la recomendación de la interfaz y el backend efectivo. Con Q4_K_M, el modelo ocupaba unos 16,2 GB, pero Hermes arrancó llama.cpp en modo CPU y la respuesta se volvió extremadamente lenta. GIGAZINE encontró que debía seleccionar Vulkan en la configuración del perfil y reiniciar el gateway para que el motor reconociera la GPU. Una vez corregida la ruta, Q4_K_M consumió cerca de 30 GB de VRAM y aún trasladó parte del trabajo a RAM compartida; la generación seguía lenta, de un dígito de tokens por segundo.
Una cuantización más chica ayudó más que insistir con la misma
El medio probó después Q4_K_S, que ocupa alrededor de 1 GB menos que Q4_K_M. La memoria de video bajó a unos 26 GB y GIGAZINE describió la inferencia como considerablemente más rápida. Hermes completó la búsqueda y el resumen sin los rodeos observados en su prueba anterior con Solar Pro 4. La publicación no ofrece una tabla controlada de tokens por segundo para la sesión del agente, así que el resultado es una observación de uso y no un benchmark independiente de generación.
La documentación de Hermes explica que Local Models administra llama.cpp y elige variantes según la memoria detectada: verde significa que cabe en GPU; ámbar, que usa RAM del sistema y puede ser más lento; rojo, que no entra (documentación de Local Models). El caso de GIGAZINE muestra que el indicador de ajuste puede no coincidir con el backend que efectivamente se inicia en una combinación particular de tarjeta, driver y versión. El artículo resolvió el problema fijando Vulkan manualmente, no mediante una actualización confirmada del producto.
Qué se puede concluir
El ensayo respalda que Hermes puede conectar un agente de herramientas a modelos GGUF locales, y que contar con 32 GB de VRAM permite usar una cuantización de mayor calidad que la prueba previa de 16 GB. También deja un límite operativo concreto: comprobar qué backend está activo y medir la memoria real antes de asumir que «cabe en GPU» significa inferencia íntegramente en GPU. Los resultados corresponden a un modelo, una tarjeta Intel y una tarea editorial; no permiten extrapolar velocidad o calidad a todas las configuraciones de Hermes.
Ángulo argentino/LATAM: la experiencia es reproducible para quienes ya tengan hardware compatible; no depende de una oferta regional específica.




