Artificial Analysis lanza VIALS-AA para medir qué tan confiablemente leen imágenes científicas los modelos de IA

El 6 de noviembre de 2026, Artificial Analysis lanzó VIALS-AA, su implementación del benchmark VIALS de Handshake AI. Mide si los modelos pueden interpretar imágenes científicas, como geles, blots, mapas de plásmidos o gráficas de citometría de flujo, y responder preguntas sobre la evidencia que contienen. Cada una de las 161 tareas se ejecuta tres veces en Stirrup, el harness de referencia de código abierto de la firma, que da a los modelos herramientas de ejecución de código e inspección de imágenes. La puntuación, pass^3, es la proporción de tareas respondidas correctamente en las tres repeticiones; Artificial Analysis exige las tres porque un resultado que cambia entre ejecuciones no es confiable en el trabajo científico.

Al 6 de noviembre de 2026, Gemini 4 Carbon (high) iba al frente con 64%, con las tres repeticiones correctas en 103 de 161 tareas, dos más que GPT-6 Astra (max). Claude Sonnet 5.5 (max, with fallback) obtuvo 60% y GPT-6.1 Sol (max) 59%, pero Sonnet hizo 3.6× más llamadas a herramientas por tarea. La consistencia separó a modelos parecidos: Kimi K3.1 Pro (max) y GPT-6 Astra (max) resolvieron cada uno cerca de tres cuartas partes de las tareas al menos una vez, pero sacaron 45% y 63% con la regla de las tres repeticiones.

En los resultados de lanzamiento, el costo por tarea fue de $0.02 con GPT-6 Luna (max) a $1.77 con Grok 4.7 (xhigh). GPT-6.1 Sol (max) obtuvo 59% a $0.06 por tarea, cerca de una trigésima parte del costo de Claude Opus 5.5 (max, with fallback), que obtuvo 61%. En 19 modelos y 9,177 ejecuciones, el 38.3% de las llamadas a herramientas fue para ver imágenes y el 47.3% para prepararlas o medirlas, por ejemplo recortando, mejorando el contraste o midiendo píxeles.