# Natural Language Autoencoders: examina activaciones con texto

> Experimenta con descripciones textuales de activaciones de modelos y su reconstrucción. El repositorio de la investigación incluye modelos AV/AR, inferencia y entrenamiento para estudiar qué información conserva cada explicación.

Verificado el 26 oct 2026.

## Qué es

Natural Language Autoencoders es la implementación que acompaña una investigación de Transformer Circuits. Un modelo transforma una activación interna en una descripción textual y otro intenta reconstruir el vector desde esa descripción. Sirve para experimentos de interpretabilidad, no para leer una conversación privada de un modelo comercial.

## Para qué te sirve

- Cuando estudias qué información puede expresarse en palabras desde una activación concreta.
- Cuando quieres comparar la descripción generada con una medida de reconstrucción del vector.
- Cuando necesitas reproducir la inferencia de los pares AV/AR publicados antes de entrenar variantes.

## Cómo funciona

AV es el verbalizador: recibe un vector insertado en una posición de un prompt. AR es el reconstructor: convierte el texto en una estimación de la activación. La comparación normaliza los vectores y mide el error de reconstrucción; una descripción plausible por sí sola no demuestra fidelidad.

Cada modelo guardado (checkpoint) incluye `nla_meta.yaml` con plantilla, identificadores de tokens, dimensiones y escalas. La guía insiste en cargar esos metadatos: cambiar la plantilla o la posición de inyección altera el experimento. La biblioteca completa incluye generación de datos y entrenamiento; el README enlaza otro paquete más ligero para inferencia.

## Antes de empezar

Necesitas Python ≥3.10, uv, las dependencias de la receta y hardware apto para servir el checkpoint con SGLang. Algunas familias publicadas exigen aceptar condiciones de acceso en Hugging Face. El código del repositorio usa Apache-2.0; comprueba aparte las condiciones de los modelos base y sus checkpoints.

## Límites y alternativas

No es una API universal para inspeccionar cualquier LLM: las dimensiones, capa y escala deben coincidir con la configuración. La reconstrucción es una señal experimental, no una garantía de explicación causal. Para una primera exploración sin infraestructura, la publicación enlaza demostraciones en Neuronpedia; para reproducir resultados, trabaja con el código y los metadatos originales.

## Recursos

- [Repo en GitHub](https://github.com/kitft/natural_language_autoencoders) - 969 estrellas, licencia Apache-2.0.
- [Licencia](https://github.com/kitft/natural_language_autoencoders/blob/main/LICENSE) - condiciones del código.
- [Publicación](https://transformer-circuits.pub/2026/nla/index.html) - contexto del experimento.
- [Inferencia](https://github.com/kitft/natural_language_autoencoders/blob/HEAD/docs/inference.md) - contrato de metadatos y diagnóstico.

Datos comprobados con GitHub el 26 oct 2026. Último commit en la rama predeterminada: 2026-08-02.