CLI e toolkit Python para empacotar e implantar modelos de ML como servidores de modelos em produção na Baseten ou na sua própria infraestrutura.
O Truss empacota a lógica de serving, os pesos e as dependências de um modelo em um servidor de modelos pronto para ser executado em um container e, em seguida, implanta esse servidor na Baseten ou na sua própria infraestrutura. O fluxo é controlado por uma classe de modelo em Python para código personalizado e por um arquivo config.yaml que declara o hardware, como o tipo de GPU, e as opções de build. Os desenvolvedores podem iterar com um modo de desenvolvimento com recarga automática, enquanto a configuração do Docker e do Kubernetes é feita pelo Truss.
O projeto oferece suporte a modelos de frameworks open source populares, incluindo vLLM, SGLang, TensorRT-LLM, transformers, diffusers, PyTorch e TensorFlow. Para LLMs, um arquivo de configuração pode criar um engine TensorRT-LLM com opções como quantização FP8 e comprimento máximo de sequência, e a implantação resultante disponibiliza uma API compatível com OpenAI. Os recursos para produção na Baseten incluem configuração de GPU, secrets, cache e autoscaling.
É indicado para equipes que querem transformar um modelo do Hugging Face ou um modelo PyTorch personalizado em um endpoint hospedado sem escrever a infraestrutura de serving. O repositório também inclui um schema JSON para config.yaml que habilita o preenchimento automático no editor.
Instale o Truss com pip
pip install --upgrade trussFaça login no Baseten
uvx truss loginCrie a estrutura de um novo projeto
uvx truss init qwen-2.5-3b && cd qwen-2.5-3bImplante o modelo no Baseten
uvx truss pushResumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Framework de deep learning baseado em PyTorch que automatiza loops de treinamento, escalabilidade para múltiplas GPUs e código de infraestrutura, mantendo o controle total do código do modelo.
Servidor de deep learning, pacote Python wheel e CLI para treinar e executar modelos com imagens, textos, dados tabulares e séries temporais por meio de uma API REST.
Modular Platform: um espaço open source para o framework de IA MAX e a linguagem de programação Mojo, voltado ao desenvolvimento e à implantação de modelos de IA.
Framework declarativo de deep learning para treinar, ajustar e implantar LLMs e modelos multimodais e tabulares a partir de configurações YAML.
Solução independente de serving de modelos, baseada em Java, que disponibiliza modelos de PyTorch, TensorFlow, ONNX e outros via endpoints HTTP.
Servidor de inferência em C++ que disponibiliza modelos de IA generativa e deep learning clássico otimizados para OpenVINO por meio de APIs compatíveis com OpenAI e KServe.