llama.cpp: ejecuta GLM-5.1 cuantizado en tu infraestructura

Ejecuta GLM-5.1 en GGUF con llama.cpp siguiendo la receta de Unsloth. Es una opción para equipos con mucha memoria que quieren controlar dónde ocurre la inferencia y probar un servidor compatible con clientes OpenAI.

✓ verificado el 26 oct 2026

Instrucciones para tu agente

Esto es lo que se copia. Pégaselo a tu agente y te lo monta paso a paso.

O ábrelo directamente en

Claude

ChatGPT

Pega este texto a tu agente (Claude Code, Codex, OpenCode, Hermes o el que uses) y dile «ayúdame a montarlo». Son los pasos para ponerlo en marcha; el porqué de cada pieza está en la guía completa.

Dificultad: avanzado
Proyecto: https://github.com/ggml-org/llama.cpp (licencia MIT)
Guía completa: https://lab.wisd.ai/hub/llama-cpp-glm-51

Para el agente: cómo acompañar al usuario

Pregunta primero para qué lo quiere. Si su objetivo no necesita algún paso, sáltalo.
Antes de instalar, comprueba lo que ya tiene (versiones, claves, sistema operativo).
Avanza un paso cada vez: explica en una frase qué vas a hacer y deja que el usuario lo ejecute o lo apruebe.
Tras cada paso, comprueba que funcionó antes de seguir. Si falla, para y explica el error.
No inventes comandos ni opciones: si la documentación del proyecto contradice estos pasos, manda la documentación.
Al terminar, haz una prueba real con el objetivo del usuario y dile dónde profundizar.

Pasos de configuración

Paso 1: dimensiona el equipo

Lee la receta de GLM-5.1. Comprueba el tamaño de la cuantización y la memoria libre antes de descargar. Esta secuencia es la ruta Linux/CUDA de esa guía; no la uses como receta de macOS. Comprueba que Git y el toolkit de CUDA están instalados: la lista de paquetes del paso siguiente no los instala. CMake requiere ≥3.14 según el CMakeLists.txt del motor.

Paso 2: compila llama.cpp

En un equipo de pruebas con permisos de administración, la guía documenta:

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build     -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Paso 3: ejecuta el ejemplo de uso general

Desde el directorio padre de llama.cpp, el ejemplo oficial descarga el modelo y lo inicia:

export LLAMA_CACHE="unsloth/GLM-5.1-GGUF"
./llama.cpp/llama-cli     -hf unsloth/GLM-5.1-GGUF:UD-IQ2_M     --ctx-size 16384     --temp 0.7     --top-p 1.0

Comprobación

Confirma que carga la cuantización elegida y responde a una pregunta de prueba. Registra el equipo, contexto y cuantización utilizados antes de comparar tiempos. Para HTTP sigue el bloque llama-server de la receta y comprueba la respuesta del cliente antes de conectarlo a un agente.

Si algo falla

Si la compilación CUDA falla, revisa la herramienta CUDA y la guía de compilación de llama.cpp para tu plataforma. Si falta memoria, vuelve a dimensionar el modelo: no atribuyas a la API un problema de carga local. Comprueba que las partes del GGUF corresponden a la misma cuantización.

Qué es

llama.cpp es un motor de inferencia en C y C++ con licencia MIT. El recurso aplica la receta oficial de Unsloth para ejecutar GLM-5.1 en formato GGUF. El repo y la licencia de esta ficha corresponden al motor; los pesos del modelo tienen sus propias condiciones.

Para qué te sirve

Cuando quieres probar un modelo de programación sin enviar cada prompt a un servicio de inferencia externo.
Cuando tu equipo dispone de memoria suficiente para alojar una cuantización grande.
Cuando necesitas servir el modelo a una aplicación mediante una API compatible con clientes OpenAI.

Cómo funciona

La receta compila las herramientas de llama.cpp y descarga una cuantización de Unsloth desde Hugging Face. llama-cli abre una sesión de terminal; llama-server es la vía documentada para clientes HTTP. El tamaño del contexto y la cuantización influyen en la memoria necesaria y la experiencia de uso.

La guía distingue ajustes generales de los usados para pruebas de programación. Mantén esa diferencia cuando compares resultados: cambiar muestreo, contexto o cuantización cambia la prueba. Un resultado en el chat tampoco valida todavía la integración con herramientas de un agente.

Antes de empezar

La receta reproducida usa Linux y CUDA, con compilador, CMake y las dependencias que enumera Unsloth. Para Mac consulta las instrucciones específicas antes de reutilizar flags de CUDA. La guía atribuye 236 GB de disco a UD-IQ2_M y describe equipos con 256 GB de memoria; revisa el archivo concreto y deja margen para contexto y sistema.

Límites y alternativas

No es una configuración para un portátil corriente. Cuando la memoria disponible no basta y se descarga trabajo al disco, la inferencia se ralentiza. La licencia MIT del motor no cubre automáticamente los pesos ni los datos que uses. Si no puedes alojar ese tamaño, elige un modelo menor admitido por llama.cpp o evalúa el coste de una API para tu carga real.

Recursos

Repo en GitHub - 132454 estrellas, licencia MIT.
Licencia - condiciones del código.
Guía de Unsloth - requisitos, compilación y ejecución.
README del motor - plataformas e interfaces.

Datos comprobados con GitHub el 26 oct 2026. Último commit en la rama predeterminada: 2026-10-26.