lab
Esc

Prueba con

↑↓ para moverte · Enter para abrir · también en /buscar?q= para agentes

skill intermedio agentesherramientasdesarrollo

CheckAgent: prueba agentes con pytest y datos de ejemplo

Detecta regresiones de comportamiento y uso de herramientas con pruebas Python, desde simulaciones hasta evaluaciones con modelos.

✓ verificado el 26 oct 2026

Instrucciones para tu agente

Esto es lo que se copia. Pégaselo a tu agente y te lo monta paso a paso.

O ábrelo directamente en ClaudeChatGPT

Pega este texto a tu agente (Claude Code, Codex, OpenCode, Hermes o el que uses) y dile «ayúdame a montarlo». Son los pasos para ponerlo en marcha; el porqué de cada pieza está en la guía completa.


Para el agente: cómo acompañar al usuario

  1. Pregunta primero para qué lo quiere. Si su objetivo no necesita algún paso, sáltalo.
  2. Antes de instalar, comprueba lo que ya tiene (versiones, claves, sistema operativo).
  3. Avanza un paso cada vez: explica en una frase qué vas a hacer y deja que el usuario lo ejecute o lo apruebe.
  4. Tras cada paso, comprueba que funcionó antes de seguir. Si falla, para y explica el error.
  5. No inventes comandos ni opciones: si la documentación del proyecto contradice estos pasos, manda la documentación.
  6. Al terminar, haz una prueba real con el objetivo del usuario y dile dónde profundizar.

Pasos de configuración

Comprueba que usas Python ≥3.10 y que pip corresponde al entorno donde ejecutarás las pruebas. Instala y ejecuta la demostración del README:

pip install checkagent
checkagent demo

Genera el proyecto de pruebas:

checkagent init my-agent-tests
cd my-agent-tests
pytest tests/ -v

Comprobación

La demostración debe completar sus pruebas sin claves de API. Después añade un caso que falle cuando el agente use una herramienta incorrecta.

Si algo falla

Comprueba la versión de Python y las dependencias del agente antes de activar evaluaciones con modelos.

ver en .md ¿Prefieres el recurso entero?

Qué es

CheckAgent es un plugin de pytest para probar funciones y flujos de agentes. Separa pruebas simuladas, reproducción de ejecuciones y evaluaciones que utilizan modelos como jueces.

Para qué te sirve

  • Cuando cambias un prompt y quieres detectar respuestas que dejan de cumplir el contrato.
  • Cuando necesitas probar un caso de uso de herramientas sin pagar una llamada real en cada ejecución.

Cómo funciona

Las pruebas usan archivos Python, fixtures y aserciones de pytest. Las capas de evaluación tienen costes y tiempos diferentes; la demostración inicial usa simulaciones y no requiere claves de proveedor.

Antes de empezar

El README requiere Python 3.10 o posterior. Empieza por la demostración local. Las pruebas con un agente real necesitan sus dependencias y credenciales; los jueces pueden generar consumo adicional.

Límites y alternativas

Una batería de pruebas solo cubre los escenarios que defines. Los resultados de un juez no sustituyen criterios verificables sobre herramientas y efectos externos. DeepEval es una alternativa para desarrollar evaluaciones de LLM.

Recursos