Qué es
LiteLLM es una biblioteca de Python y una pasarela para consumir modelos de distintos proveedores. Adapta sus interfaces para reducir diferencias en las llamadas que hace una aplicación.
Para qué te sirve
- Cuando tu agente necesita comparar modelos de proveedores diferentes.
- Cuando varias aplicaciones deben pasar por un punto común de acceso a inferencia.
- Cuando quieres separar la selección del modelo del resto de la lógica del agente.
Cómo funciona
La biblioteca transforma solicitudes y respuestas entre formatos compatibles. La modalidad proxy expone un servidor que recibe llamadas de clientes y las dirige al proveedor configurado. El repositorio incluye otras integraciones de protocolos, pero la pasarela de modelos sigue siendo una función distinta de coordinar tareas entre agentes.
Puedes comenzar con la biblioteca sin desplegar un servicio adicional. Si eliges proxy, debes configurar autenticación, destinos y límites según la guía de esa modalidad.
Antes de empezar
Necesitas Python ≥3.10 y <3.16, uv para la ruta de biblioteca descrita y acceso válido a los proveedores que elijas. El coste de inferencia sigue correspondiendo a esas cuentas. GitHub devuelve NOASSERTION para la licencia: revisa el texto y las condiciones de los componentes que vayas a usar, sin asumir que todas las ediciones tienen el mismo alcance.
Límites y alternativas
Un formato común no hace idénticas las capacidades, errores o límites de todos los modelos. Prueba las herramientas y salidas estructuradas de cada combinación. Para una aplicación que usa un solo proveedor, su SDK directo puede simplificar la depuración.
Recursos
- Repositorio y README - 62082 estrellas; licencia detectada por GitHub: NOASSERTION.
- Licencia - Consulta sus condiciones antes de reutilizar el proyecto.