| Modelo y configuración |
Puntuación oficial |
Costo medido por tarea |
| Claude Opus 5 — Máx |
26,2% |
USD 1,27 |
| Claude Opus 5 — Medio |
23,6% |
$0,89 |
| Gemini 3.6 Flash: alto |
19,8% |
$0,58 |
| GPT-5.6 Sol — Máx. |
18,1% |
US$ 1,00 |
| Claude Fable 5 — Máximo |
17,4% |
USD 2,03 |
Las puntuaciones parecen bajas porque el criterio es severo: cumplir cinco de seis requisitos no es suficiente para considerar la tarea completada. El punto de referencia también informa que la variación típica entre ejecuciones está dentro de aproximadamente un punto porcentual.
Aquí hay dos hallazgos prácticos. La primera es la ventaja del Opus 5 en este tipo de trabajos. La segunda es que configurar el mismo modelo puede importar casi tanto como cambiar de proveedor: Opus 5 en Medium se mantiene por encima de los mejores resultados mostrados para Gemini 3.6 Flash y GPT-5.6 Sol en esta clasificación, al tiempo que reduce el costo medido de la tarea en relación con el propio Max.
Esto no significa que AutomationBench mida de forma aislada "qué modelo genera el JSON más correcto". En esta prueba, el agente necesita buscar esquemas y ejecutar puntos finales, encontrar registros, distinguir datos obsoletos, cumplir políticas y cambiar el estado correcto. Por tanto, la nota combina selección de herramientas, planificación, lectura de resultados y perseverancia hasta su finalización. Precisamente por eso es útil para quienes eligen un modelo para flujos, y no solo para una demostración de llamada a una función.
¿Y quién elige correctamente la función y los argumentos?
Para observar la llamada en sí, la tabla de clasificación de llamadas a funciones de Berkeley sigue siendo una mejor referencia. BFCL V4 incluye llamadas de un solo turno y de múltiples turnos, funciones y parámetros faltantes, casos paralelos, medición de alucinaciones y tareas agentes. Su evaluación utiliza mecanismos como AST y transiciones de estado para verificar la llamada de manera más determinista.
Sin embargo, existe un problema temporal: la clasificación consultada se actualizó por última vez el 12 de abril de 2026 y todavía contiene una generación anterior de varios modelos. Claude Opus 4.5 ocupó el primer lugar con un 77,47%, seguido de Claude Sonnet 4.5 con un 73,24%. Los actuales Opus 5, GPT-5.6 Sol y Gemini 3.6 Flash no están todos representados en este corte.
Por lo tanto, la BFCL ayuda más a comprender qué familias ya demostraron buenos fundamentos de llamadas de función que a decretar al ganador actual. Para una compra o migración realizada ahora, el resultado más reciente de un extremo a otro debería pesar más.
Un argumento válido no significa un argumento correcto
Las API actuales ofrecen mecanismos que reducen una clase importante de errores: los argumentos que no obedecen al esquema.
En OpenAI, las salidas estructuradas en llamadas a funciones con estricto: verdadero hacen que los argumentos se adhieran al esquema JSON definido para esa función. Los modelos GPT-5.6 también admiten llamadas de funciones y salidas estructuradas; la plataforma agrega herramientas de búsqueda y llamadas de herramientas programáticas para ciertos flujos con muchas operaciones.
Anthropic también ofrece herramientas estrictas con estricto: verdadero, así como controles tool_choice para tomar la decisión de forma automática, requerir una herramienta o forzar una herramienta específica. Los resultados de la herramienta se pueden devolver a Claude con is_error: true, lo que permite que el fallo sea explícitamente parte del siguiente turno del agente.
En Gemini, la API proporciona modos automático, cualquiera y ninguno, además del modo validado, aún marcado como vista previa, para cumplir con el esquema. Gemini 3.6 Flash admite llamadas de funciones, salidas estructuradas y herramientas como ejecución de código, búsqueda de archivos y uso de la computadora en vista previa.
Estas protecciones son valiosas, pero tienen un límite simple: un campo customer_id puede ser perfectamente válido como una cadena y aun así apuntar al cliente equivocado. La validación estructural reduce las llamadas con formato incorrecto; no garantiza la selección semánticamente correcta de la herramienta, entidad o acción.
La prueba más difícil comienza cuando la herramienta falla
ToolBench-X, publicado en junio de 2026, se creó precisamente para llenar un vacío en los puntos de referencia tradicionales. En lugar de asumir herramientas estables, introduce cinco clases de problemas recuperables: cambio de especificación, error de invocación, falla de ejecución, cambio en el formato o significado de salida y conflicto de fuente. Las tareas siguen siendo solucionables a través de caminos como el reintento, el respaldo, la verificación o la evidencia cruzada.
Los modelos evaluados en el artículo ya no son todos los buques insignia actuales, por lo que sería incorrecto usar sus números para comparar directamente el Opus 5 con el GPT-5.6 o el Gemini 3.6. El resultado más importante es estructural: todos los modelos probados tuvieron una precisión inferior al 60 % cuando las herramientas recibieron estos fallos recuperables. GPT-5.4 obtuvo un 45,3%, Claude Sonnet 4.6 obtuvo un 41,0% y el mejor resultado del set, Doubao-Seed-2.0-Lite, logró un 51,3%.
El estudio encontró algo aún más útil para quienes diseñan el agente. Dar más tiempo de inferencia ayudó de poco en comparación con decirle al modelo qué tipo de anomalía estaba experimentando. En un subconjunto de 200 tareas, las sugerencias de diagnóstico específicas aumentaron el resultado inicial entre 25,5 y 35,5 puntos porcentuales, recuperando la mayoría de los casos omitidos. Los autores identifican el diagnóstico de fallos, no simplemente la falta de informática, como el cuello de botella central.
Esto cambia la cuestión de ingeniería. No basta con preguntar “¿qué modelo vuelve a intentarlo?”. Un agente robusto necesita reconocer si repetir la misma llamada, cambiar herramientas, corregir argumentos, desconfiar de la respuesta o detenerse ante un fallo explícito.
¿Qué modelo elegiría para cada escenario?
Si la prioridad es maximizar las posibilidades de completar correctamente un flujo de negocios complejo hoy, Claude Opus 5 es la opción mejor respaldada por los datos públicos disponibles. Lidera la suite privada de AutomationBench y Anthropic la posiciona para trabajos empresariales y tareas complejas de agencia.
Si el sistema tendrá un gran catálogo de herramientas o pasos predecibles que se pueden filtrar, agregar y encadenar mediante programación, GPT-5.6 Sol merece una prueba en paralelo incluso sin liderar AutomationBench. OpenAI ofrece búsqueda de herramientas y llamadas de herramientas programáticas en GPT-5.6, lo que permite procesar ciertas secuencias de llamadas en un tiempo de ejecución programático en lugar de requerir volver a probar el modelo entre todas las operaciones. La propia documentación recomienda mantener llamadas directas cuando cada resultado pueda cambiar semánticamente la siguiente decisión.
Para un flujo más sensible a los costos y la latencia, Gemini 3.6 Flash es el rival más interesante entre los tres en esta medición: obtuvo una puntuación del 19,8% en el conjunto privado de AutomationBench a $0,58 por tarea, frente al 18,1% y $ 1,00 de GPT-5.6 Sol Max en esa misma prueba. El precio estándar de su API es de $1,50 por millón de tokens de entrada y $7,50 por millón de salida, incluidos los tokens de pensamiento en el cargo de salida.
Claude Opus 5 también merece ser probado por debajo del máximo esfuerzo. En el propio AutomationBench, Medium obtuvo un 23,6% por 0,89 dólares por tarea. Si esta relación se reproduce en tu dominio, reducir el esfuerzo puede generar ahorros más interesantes que cambiar inmediatamente a un modelo más pequeño.
La prueba que debería decidir la producción
Antes de tomar una decisión final, se debe utilizar el punto de referencia público para elaborar la lista corta. La decisión final debe provenir de un pequeño conjunto de evaluaciones que repliquen sus propias herramientas.
- Establezca entre 50 y 100 tareas representativas, incluidos casos fáciles, ambiguos y de varios pasos.
- Registre la herramienta correcta, los argumentos esperados, las acciones prohibidas y el estado final requerido.
- Inyectar fallas controladas: parámetro rechazado, 401 o 403, entidad inexistente, tiempo de espera o 429, error 500, resultado vacío, datos desactualizados y conflicto entre dos fuentes.
- Mida por separado la precisión de la selección de herramientas, la corrección de los argumentos, la finalización de un extremo a otro, la recuperación de fallas, las llamadas innecesarias, los efectos secundarios incorrectos, la latencia y el costo.
- Ejecute los mismos casos en las dos o tres configuraciones finalistas y corrija versiones o instantáneas cuando la plataforma lo permita.
Este procedimiento evita un error frecuente: elegir el modelo que mejor funciona cuando todo va bien. En producción, el candidato verdaderamente útil es aquel que falla de manera detectable, intenta una recuperación adecuada y no convierte un error parcial en una mala acción irreversible.
Hoy, los datos sitúan a Claude Opus 5 a la cabeza de esta lista corta. Pero la información más importante obtenida de los puntos de referencia de 2026 es menos cómoda: el modelo sigue siendo sólo una parte de la fiabilidad.. Un esquema estricto, descripciones de herramientas inequívocas, respuestas de error estructuradas, límites de reintento, idempotencia, validación del estado final y pruebas de fallo real siguen siendo parte del producto.
Temas de este artículoagentes de IAAPIs de IAautomação com IAbenchmarks de IAfunction callingtool callingtool use
