Framework de deep learning basado en PyTorch que automatiza los ciclos de entrenamiento, el escalado a varias GPU y el código de soporte, sin quitarte el control del modelo.
31,4 mil+11 esta semana3,8 milPythonApache-2.0Actualizado hace 7 días
basetenlabs/truss
CLI y toolkit de Python para empaquetar y desplegar modelos de ML en Baseten o en infraestructura propia como servidores de modelos listos para producción.
- Estrellas
- 1,228
- Forks
- 142
- Issues abiertos
- 90
- Último commit
- hace 18 horas
¿Qué es?
Truss empaqueta la lógica de inferencia de un modelo, sus pesos y dependencias en un servidor de modelos listo para ejecutarse en un contenedor y, después, lo despliega en Baseten o en infraestructura propia. Se configura mediante una clase de modelo de Python para el código personalizado y un archivo config.yaml que declara el hardware, como el tipo de GPU, y las opciones de compilación. Los desarrolladores pueden iterar con un modo de desarrollo con recarga en caliente, mientras que Docker y Kubernetes se configuran automáticamente.
El proyecto admite modelos de frameworks open source populares, como vLLM, SGLang, TensorRT-LLM, transformers, diffusers, PyTorch y TensorFlow. Para los LLM, la configuración puede crear un motor de TensorRT-LLM con opciones como la cuantización FP8 y la longitud máxima de secuencia; el despliegue resultante expone una API compatible con OpenAI. Entre las funciones para producción se incluyen la configuración de GPU, los secretos, el almacenamiento en caché y el autoescalado en Baseten.
Es una buena opción para equipos que quieren convertir un modelo de Hugging Face o un modelo personalizado de PyTorch en un endpoint alojado, sin tener que escribir la infraestructura de serving. El repositorio también incluye un esquema JSON para config.yaml que habilita el autocompletado en el editor.
Funciones clave
- 01Empaqueta el código del modelo, sus pesos y dependencias en un servidor de modelos
- 02Modo de desarrollo con recarga en caliente para iterar más rápido
- 03Compila motores de TensorRT-LLM con cuantización FP8 a partir de una configuración YAML
- 04Ofrece endpoints compatibles con OpenAI para despliegues de LLM
- 05Admite modelos de vLLM, SGLang, transformers, diffusers, PyTorch y TensorFlow
- 06Ofrece configuración de GPU, secretos, almacenamiento en caché y autoescalado en Baseten
Casos de uso
- Desplegar un LLM de Hugging Face como endpoint de API alojado sin escribir Dockerfiles
- Servir en producción un modelo personalizado de PyTorch o de difusión con aceleración de GPU
- Sustituir infraestructuras de serving de modelos creadas a mano por un flujo de trabajo basado en configuración
Inicio rápido
- 1
Instala Truss con pip
pip install --upgrade truss - 2
Inicia sesión en Baseten
uvx truss login - 3
Crea la estructura de un proyecto nuevo
uvx truss init qwen-2.5-3b && cd qwen-2.5-3b - 4
Despliega el modelo en Baseten
uvx truss push
Antes de usarlo
- Para desplegar la guía de inicio rápido, necesitas una cuenta y una clave de API de Baseten.
- El despliegue de TRT-LLM de la guía de inicio rápido requiere una GPU L4 en Baseten, y TRT-LLM no admite el modo --watch.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es truss?
- CLI y toolkit de Python para empaquetar y desplegar modelos de ML en Baseten o en infraestructura propia como servidores de modelos listos para producción. Truss empaqueta la lógica de inferencia de un modelo, sus pesos y dependencias en un servidor de modelos listo para ejecutarse en un contenedor y, después, lo despliega en Baseten o en infraestructura propia. Se configura mediante una clase de modelo de Python para el código personalizado y un archivo config.yaml que declara el hardware, como el tipo de GPU, y las opciones de compilación. Los desarrolladores pueden iterar con un modo de desarrollo con recarga en caliente, mientras que Docker y Kubernetes se configuran automáticamente.
- ¿truss es gratuito? ¿Qué licencia tiene?
- truss es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿truss sigue mantenido?
- Mantenimiento activo. El último commit de truss fue el 5 nov 2026.
- ¿Para qué puedo usar truss?
- Desplegar un LLM de Hugging Face como endpoint de API alojado sin escribir Dockerfiles Servir en producción un modelo personalizado de PyTorch o de difusión con aceleración de GPU Sustituir infraestructuras de serving de modelos creadas a mano por un flujo de trabajo basado en configuración
- ¿Cómo se instala truss?
- Instala Truss con pip: pip install --upgrade truss Inicia sesión en Baseten: uvx truss login Crea la estructura de un proyecto nuevo: uvx truss init qwen-2.5-3b && cd qwen-2.5-3b Despliega el modelo en Baseten: uvx truss push
- ¿Dónde consigo truss?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/basetenlabs/truss
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Servidor de deep learning, paquete wheel de Python y CLI para entrenar y ejecutar modelos con imágenes, texto, datos tabulares y series temporales mediante una REST API.
2,6 mil544C++OtherActualizado hace 7 días
Modular Platform: plataforma de código abierto para el framework de IA MAX y el lenguaje de programación Mojo, orientada al desarrollo y despliegue de modelos de IA.
30,1 mil+38 esta semana3,2 milMojoOtherActualizado ayer
Framework declarativo de deep learning para entrenar, ajustar y desplegar LLM, modelos multimodales y tabulares a partir de configuraciones YAML.
11,8 mil+5 esta semana1,2 milPythonApache-2.0Actualizado hace 4 días
Solución independiente de serving de modelos basada en Java que expone modelos de PyTorch, TensorFlow, ONNX y otros mediante endpoints HTTP.
256+2 esta semana100JavaApache-2.0Bien mantenidoActualizado hace 4 días
Servidor de inferencia en C++ que sirve modelos de IA generativa optimizados para OpenVINO y modelos clásicos de deep learning mediante API compatibles con OpenAI y KServe.
954+2 esta semana293C++Apache-2.0Actualizado hace 19 horas