Qué es
PinchBench es un conjunto de tareas y scripts de evaluación para modelos que actúan mediante OpenClaw. Su repositorio de skill contiene el benchmark (conjunto de pruebas comparativas), y distingue sus ejecuciones de los resultados oficiales del ranking.
Para qué te sirve
- Cuando quieres comparar dos modelos con las mismas tareas.
- Cuando necesitas observar si el agente completa una acción además de redactar una respuesta.
Cómo funciona
Los scripts ejecutan conjuntos de tareas con un modelo identificado por proveedor. La evaluación revisa resultados de acciones como archivos, investigación o calendario. La publicación de resultados tiene un flujo aparte documentado en el proyecto.
Antes de empezar
Necesitas Python ≥3.10, uv, Git y una instancia de OpenClaw en ejecución con el proveedor configurado. Ejecutar tareas genera consumo de modelos y puede implicar herramientas externas. Usa un entorno de prueba y revisa si la configuración sube resultados.
Límites y alternativas
Un resultado de benchmark no representa automáticamente tus tareas reales. Conserva versión, modelo y condiciones de ejecución para comparar. CheckAgent y DeepEval permiten diseñar pruebas más específicas de tu aplicación.
Recursos
- Proyecto y documentación — consulta el README y sus ejemplos antes de instalar.
- Datos del repositorio — 1369 estrellas; licencia detectada por GitHub: MIT.
- Condiciones de licencia — revisa el texto aplicable antes de redistribuir.
- Actividad reciente — último commit consultado: 2026-05-22.