# Entradas compactas y caché: mide reutilización sin perder contexto

> Ensaya compresión y reutilización en consultas independientes, conservando originales para detectar pérdidas de información y respuestas reaprovechadas por error.

Verificado el 27 oct 2026.

## Qué es

Un experimento con dos mecanismos separados: reducir texto que entra al modelo y reutilizar respuestas a consultas parecidas. La prueba limita el alcance a preguntas independientes con una respuesta conocida, de modo que puedas detectar tanto ahorro como errores.

## Para qué te sirve

- Cuando varias consultas repetidas consumen recursos pero deben devolver la misma respuesta estable.
- Cuando un log extenso necesita conservar errores y rutas aunque se reduzca el resto.
- Cuando dos preguntas parecidas tienen respuestas diferentes y debes detectar un falso acierto de caché.

## Cómo funciona

[Caveman](/hub/caveman-token-saver) distingue la skill que acorta respuestas del CLI que puede comprimir entradas. [LiteLLM](/hub/litellm-agent-platform) aporta la pasarela; su documentación de caché semántica describe reutilización por similitud. Primero evalúa cada cambio por separado y solo combínalos si conservan el resultado esperado.

## Antes de empezar

El CLI completo de Caveman requiere Node.js ≥22.13 con npm/npx. Para este ensayo usa Docker con Compose para LiteLLM, proveedor de inferencia y el backend semántico de su documentación; la ruta Qdrant requiere Qdrant y un modelo de embeddings, con dimensión compatible. Un embedding es la representación numérica usada para comparar textos. Las consultas y el almacenamiento tienen coste propio.

## Límites y alternativas

La caché semántica se destina a preguntas independientes; en conversaciones y tráfico de agentes puede reproducir respuestas obsoletas. Excluye de la prueba datos personales, información cambiante y acciones con herramientas. La similitud del texto no asegura equivalencia de significado.

## Recursos

- [Caveman](/hub/caveman-token-saver) — función y requisitos de esta pieza.
- [Documentación de Caveman](https://github.com/JuliusBrussee/caveman) — fuente primaria.
- [LiteLLM](/hub/litellm-agent-platform) — función y requisitos de esta pieza.
- [Documentación de LiteLLM](https://github.com/BerriAI/litellm) — fuente primaria.
- [Caché semántica](https://docs.litellm.ai/docs/proxy/caching_semantic) — documentación oficial del recorrido.