Vals, una startup fundada en 2024 y dedicada a evaluar modelos de inteligencia artificial, quedó en el centro de la conversación sobre cómo se mide el rendimiento de los modelos. En un perfil publicado el 19 de septiembre, TechCrunch describe su apuesta: en lugar de evaluar conocimiento general con pruebas académicas, la empresa arma conjuntos de tareas por industria y mide resultados, incluidos los negativos.
Qué hace y con qué plata
- Fundación: Rayan Krishnan, 25 años, ex pasante en Palantir y con paso por Microsoft y el laboratorio de IA de Stanford durante su carrera de grado. La empresa nació, dice, de comprobar que los benchmarks académicos no seguían el ritmo de los modelos.
- Financiamiento: una ronda semilla liderada por 8VC y Bloomberg Beta, y una Serie A de 40 millones de dólares liderada por Andreessen Horowitz el mes pasado.
- Modelo de negocio: las empresas pagan por testear sus modelos, algo que el fundador compara con pagar por rendir un examen estandarizado.
- Crecimiento: la compañía informó ingresos ocho veces mayores que el año anterior, pasó de ocho a 25 empleados y planea sumar entre diez y quince más. También lanzó un programa para ofrecer evaluaciones a agencias federales.
El diferencial que declara es el tipo de prueba. Además de derecho, finanzas y programación, Vals dice tener un benchmark de automejora recursiva y trabajos en salud mental, ciberseguridad, bioseguridad y derecho de los conflictos armados, para evaluar cómo se aplican las convenciones de Ginebra. La idea, según Krishnan, es medir "cuáles son los impactos reales de los modelos", no si saben responder un examen.
Por qué el tema creció
La discusión sobre benchmarks dejó de ser académica en el momento en que las empresas empezaron a comprar modelos y a justificar decisiones con números. Los índices públicos, que muchas veces se saturan o se filtran en los datos de entrenamiento, ya no alcanzan para distinguir capacidades reales. De ahí el interés por evaluadores con acceso a los modelos y metodología publicada.
El problema es el de siempre: un evaluador que cobra a las empresas que evalúa tiene un conflicto de interés estructural, y la cobertura del sector lo señala. Vals dice que su independencia se sostiene en que los resultados se publican y en que su negocio depende de la credibilidad. Para los equipos que tienen que elegir un modelo, la recomendación práctica sigue siendo la misma: mirar la metodología, replicar la prueba con datos propios y no comprar por el puntaje de un índice ajeno.
La empresa publica sus conjuntos de evaluación y sus resultados en vals.ai, y esa transparencia es, según su propio argumento, la garantía de su independencia.




