Entradas compactas y caché: mide reutilización sin perder contexto
Ensaya compresión y reutilización en consultas independientes, conservando originales para detectar pérdidas de información y respuestas reaprovechadas por error.
✓ verificado el 27 oct 2026
Instrucciones para tu agente
Esto es lo que se copia. Pégaselo a tu agente y te lo monta paso a paso.
Pega este texto a tu agente (Claude Code, Codex, OpenCode, Hermes o el que uses) y dile «ayúdame a montarlo». Son los pasos para ponerlo en marcha; el porqué de cada pieza está en la guía completa.
Pregunta primero para qué lo quiere. Si su objetivo no necesita algún paso, sáltalo.
Antes de instalar, comprueba lo que ya tiene (versiones, claves, sistema operativo).
Avanza un paso cada vez: explica en una frase qué vas a hacer y deja que el usuario lo ejecute o lo apruebe.
Tras cada paso, comprueba que funcionó antes de seguir. Si falla, para y explica el error.
No inventes comandos ni opciones: si la documentación del proyecto contradice estos pasos, manda la documentación.
Al terminar, haz una prueba real con el objetivo del usuario y dile dónde profundizar.
Pasos de configuración
Delimita la prueba
Escribe pares de preguntas equivalentes y pares parecidos con respuestas distintas. Fija resultados esperados y conserva entradas originales y condiciones de prueba.
Configura Caveman
Sigue Caveman, incluidos sus requisitos, configuración y comprobación actuales. Este ensayo necesita la ruta del CLI completo para comprimir entradas. Comprueba sus componentes y compara una salida comprimida con el original; la skill sola no cubre esta etapa.
Configura LiteLLM
Sigue LiteLLM, incluidos sus requisitos, configuración y comprobación actuales. Completa la prueba de la biblioteca desde el proyecto uv y comprueba proveedor, modelo y tratamiento de errores; esa instalación no crea una pasarela.
Para este caso se necesita además Proxy Server y el backend Qdrant de la ruta oficial de caché semántica, tras el inicio rápido de la pasarela. Comprueba primero una llamada autenticada sin caché y después la configuración y los indicadores documentados de reutilización; si no puedes preparar ese backend, detén el ensayo de caché. No presentes la prueba de la biblioteca como prueba de la pasarela.
Datos que pasan entre piezas
Los archivos siguientes son entregables de este caso preparados por el agente; no implican exportadores ni sincronización automática.
Pasa de Caveman al cliente de ensayo la salida comprimida y la ruta del original; registra en resultados.csv pregunta, condición, respuesta esperada, respuesta recibida e indicador de reutilización de LiteLLM. Conserva modelo de representaciones, colección, dimensión y umbral de Qdrant en la configuración de prueba; sin contrato del backend o indicador comprobable, detén la prueba de caché sin inferir un acierto por rapidez.
Monta el flujo
Paso 1
Ejecuta la muestra sin compresión ni caché desde una aplicación compatible con la pasarela. Guarda entradas, respuestas, consumo disponible y criterio de calidad.
Paso 2
Instala el CLI completo de Caveman solo si necesitas reducir entradas; la skill sola cambia el estilo de salida. Ensaya el comando de compresión documentado con un comando real de tu proyecto y compara qué información llega al agente frente al original.
Paso 3
En otra condición, configura LiteLLM con el backend semántico documentado. Prueba preguntas idénticas, paráfrasis y pares no equivalentes. Comprueba indicadores de reutilización y respuesta, sin asumir un acierto por la rapidez.
Paso 4
Combina ambas condiciones solo después de superar las pruebas separadas. Registra errores y costes adicionales, y deja caché desactivada para flujos conversacionales o acciones.
Comprobación
Un par no equivalente no debe reutilizar una respuesta incorrecta. El texto comprimido debe conservar el error y los identificadores necesarios; informa regresiones aunque baje el consumo.
Si algo falla
Si desaparece evidencia, retira la compresión. Si hay falsos aciertos, desactiva la caché en ese alcance y revisa umbral y política antes de volver a ensayar.
Esta composición de WISD no se ha ejecutado como prueba integral. La configuración se consulta en las guías enlazadas; las etapas describen cómo coordinar las piezas.
Prompt para tu agente
Sustituye los campos entre <> antes de pegarlo.
Lee y sigue las instrucciones publicadas de las piezas: Caveman: /hub/caveman-token-saver/instrucciones.md; LiteLLM: /hub/litellm-agent-platform/instrucciones.md. Completa los requisitos, configuración y comprobación de cada pieza antes de usarla; comprueba su uso desde el cliente o arnés elegido, no solo su presencia en disco. Si falta un campo entre <>, una fuente obligatoria, acceso o una operación documentada, detén la etapa dependiente, informa qué falta y pídemelo; usa una alternativa manual solo cuando esté descrita y comprobada. No inventes datos ni des por superada una comprobación pendiente.
La guía de LiteLLM cubre su biblioteca: para esta prueba sigue además https://docs.litellm.ai/docs/proxy/docker_quick_start y https://docs.litellm.ai/docs/proxy/caching_semantic. Prepara y comprueba pasarela y backend Qdrant sin caché antes de habilitarla. Usa la ruta del CLI completo de Caveman para las entradas, sin confundirla con la skill de estilo.
En <entorno de prueba> evalúa <preguntas independientes y respuestas esperadas>. Usa Caveman CLI para la reducción de entradas y LiteLLM con <backend semántico documentado> para reutilización. Conserva originales en <carpeta>. Mide primero base, después cada cambio por separado y solo al final su combinación. Comprueba paráfrasis y preguntas parecidas no equivalentes, respuestas y consumo. No habilites esta caché para conversaciones, herramientas ni datos cambiantes. Entrega mediciones, errores y una recomendación basada en los casos.
Pasa de Caveman al cliente de ensayo la salida comprimida y la ruta del original; registra en resultados.csv pregunta, condición, respuesta esperada, respuesta recibida e indicador de reutilización de LiteLLM. Conserva modelo de representaciones, colección, dimensión y umbral de Qdrant en la configuración de prueba; sin contrato del backend o indicador comprobable, detén la prueba de caché sin inferir un acierto por rapidez.
Qué es
Un experimento con dos mecanismos separados: reducir texto que entra al modelo y reutilizar respuestas a consultas parecidas. La prueba limita el alcance a preguntas independientes con una respuesta conocida, de modo que puedas detectar tanto ahorro como errores.
Para qué te sirve
Cuando varias consultas repetidas consumen recursos pero deben devolver la misma respuesta estable.
Cuando un log extenso necesita conservar errores y rutas aunque se reduzca el resto.
Cuando dos preguntas parecidas tienen respuestas diferentes y debes detectar un falso acierto de caché.
Cómo funciona
Caveman distingue la skill que acorta respuestas del CLI que puede comprimir entradas. LiteLLM aporta la pasarela; su documentación de caché semántica describe reutilización por similitud. Primero evalúa cada cambio por separado y solo combínalos si conservan el resultado esperado.
Antes de empezar
El CLI completo de Caveman requiere Node.js ≥22.13 con npm/npx. Para este ensayo usa Docker con Compose para LiteLLM, proveedor de inferencia y el backend semántico de su documentación; la ruta Qdrant requiere Qdrant y un modelo de embeddings, con dimensión compatible. Un embedding es la representación numérica usada para comparar textos. Las consultas y el almacenamiento tienen coste propio.
Límites y alternativas
La caché semántica se destina a preguntas independientes; en conversaciones y tráfico de agentes puede reproducir respuestas obsoletas. Excluye de la prueba datos personales, información cambiante y acciones con herramientas. La similitud del texto no asegura equivalencia de significado.
