DeepEval: evalúa resultados y recorridos de agentes

Pega este texto a tu agente (Claude Code, Codex, OpenCode, Hermes o el que uses) y dile «ayúdame a montarlo». Son los pasos para ponerlo en marcha; el porqué de cada pieza está en la guía completa.

• Dificultad: intermedio
• Proyecto: https://github.com/confident-ai/deepeval (licencia Apache-2.0)
• Guía completa: https://lab.wisd.ai/hub/deepeval-agent-testing

Para el agente: cómo acompañar al usuario

1. Pregunta primero para qué lo quiere. Si su objetivo no necesita algún paso, sáltalo.
2. Antes de instalar, comprueba lo que ya tiene (versiones, claves, sistema operativo).
3. Avanza un paso cada vez: explica en una frase qué vas a hacer y deja que el usuario lo ejecute o lo apruebe.
4. Tras cada paso, comprueba que funcionó antes de seguir. Si falla, para y explica el error.
5. No inventes comandos ni opciones: si la documentación del proyecto contradice estos pasos, manda la documentación.
6. Al terminar, haz una prueba real con el objetivo del usuario y dile dónde profundizar.

Pasos de configuración

Comprueba que tienes Python ≥3.9 y <4.0 y pip disponibles en el entorno de pruebas. Instala la biblioteca con el comando del README:

pip install -U deepeval

Guarda como test_ai_agent.py el primer test del README oficial:

import pytest
from deepeval import assert_test
from deepeval.metrics import GEval
from deepeval.test_case import LLMTestCase, SingleTurnParams

def test_case():
    correctness_metric = GEval(
        name="Correctness",
        criteria="Determine if the 'actual output' is correct based on the 'expected output'.",
        evaluation_params=[SingleTurnParams.ACTUAL_OUTPUT, SingleTurnParams.EXPECTED_OUTPUT],
        threshold=0.5
    )
    test_case = LLMTestCase(
        input="What if these shoes don't fit?",
        # Sustituye por la salida real de tu aplicación
        actual_output="You have 30 days to get a full refund at no extra cost.",
        expected_output="We offer a 30-day full refund at no extra costs.",
    )
    assert_test(test_case, [correctness_metric])

Configura OPENAI_API_KEY en el entorno privado y ejecuta:

deepeval test run test_ai_agent.py

El README espera que este caso pase. Cambia después actual_output por una respuesta incompatible con el reembolso de 30 días y vuelve a ejecutar; debe fallar por el criterio de corrección. La puntuación depende del juez.

El inicio de sesión en la plataforma es una operación separada; revisa si necesitas esa integración antes de activarla.

Comprobación

Incluye un caso correcto y otro deliberadamente incorrecto y comprueba que la métrica los distingue por la razón esperada.

Si algo falla

Revisa proveedor del juez, datos del caso y formato de la trayectoria.