Repolode
Enviar
jeremychone

jeremychone/rust-genai

Biblioteca Rust que oferece uma API comum para conversar com vários provedores de IA usando o protocolo nativo de cada um.

Ver no GitHub
Estrelas
936
Forks
197
Issues abertas
42
Último commit
anteontem

O que é?

genai é uma biblioteca cliente em Rust para modelos de IA generativa. Ela oferece uma única API de chat compatível com vários provedores, incluindo OpenAI, Anthropic, Gemini, Ollama (para modelos locais), Groq, xAI, DeepSeek, Cohere, Mistral e muitos outros. O adaptador de cada modelo é escolhido pelo prefixo do nome do modelo ou pode ser definido explicitamente com um namespace, como `groq::` ou `ollama_cloud::`.

A biblioteca usa o protocolo nativo de cada provedor quando disponível, permitindo representar recursos específicos, como controles de raciocínio, limites de pensamento, metadados de streaming e entradas multimodais. Quando um provedor oferece principalmente uma API compatível com OpenAI, a genai usa essa camada. É possível configurar endpoints personalizados compatíveis com OpenAI por meio de variáveis de ambiente ou de um ServiceTargetResolver, para usar autenticação e endpoints personalizados.

O foco está em chat de texto, visão e chamadas de funções. A biblioteca prioriza APIs ergonômicas e comuns aos provedores, em vez de oferecer cobertura completa dos SDKs de cada um. O backend de TLS pode ser escolhido por meio de features do Cargo.

Recursos principais

  • 01API de chat unificada para vários provedores de IA, incluindo modelos locais do Ollama
  • 02Adaptador do modelo escolhido automaticamente pelo nome ou definido explicitamente com um namespace
  • 03Suporte ao protocolo nativo quando disponível, com alternativa compatível com OpenAI
  • 04Endpoints e autenticação personalizados por meio de variáveis de ambiente ou de um resolver de destinos
  • 05Suporte a imagens como entrada e a chamadas de funções
  • 06Backends de TLS selecionáveis (rustls por padrão ou native-tls)

Casos de uso

  • Criar uma aplicação Rust que alterna entre modelos da OpenAI, Anthropic e Gemini sem reescrever as chamadas
  • Executar modelos locais pelo Ollama usando a mesma API dos provedores de nuvem
  • Conectar um serviço Rust a um servidor de inferência OpenAI-compatible hospedado por você
  • Adicionar recursos de visão ou chamadas de ferramentas a um backend Rust

Início rápido

  1. 1

    Adicione o crate ao Cargo.toml

    cargo add genai
  2. 2

    Crie um cliente e chame exec_chat com o nome de um modelo

Antes de usar

  • Versão anterior à 1.0 (0.7.x), com alterações incompatíveis entre versões menores.

Em coleções

Ferramentas, skills e plugins para Claude CodeRode LLMs localmente

Tópicos

#llm#rust#multi-provider#ollama#openai#anthropic#gemini#chat-completion

Perguntas frequentes

O que é rust-genai?
Biblioteca Rust que oferece uma API comum para conversar com vários provedores de IA usando o protocolo nativo de cada um. genai é uma biblioteca cliente em Rust para modelos de IA generativa. Ela oferece uma única API de chat compatível com vários provedores, incluindo OpenAI, Anthropic, Gemini, Ollama (para modelos locais), Groq, xAI, DeepSeek, Cohere, Mistral e muitos outros. O adaptador de cada modelo é escolhido pelo prefixo do nome do modelo ou pode ser definido explicitamente com um namespace, como `groq::` ou `ollama_cloud::`.
rust-genai é gratuito? Qual é a licença?
rust-genai é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
rust-genai ainda é mantido?
Manutenção ativa. O último commit de rust-genai foi em 4 de nov. de 2026.
Para que posso usar rust-genai?
Criar uma aplicação Rust que alterna entre modelos da OpenAI, Anthropic e Gemini sem reescrever as chamadas Executar modelos locais pelo Ollama usando a mesma API dos provedores de nuvem Conectar um serviço Rust a um servidor de inferência OpenAI-compatible hospedado por você Adicionar recursos de visão ou chamadas de ferramentas a um backend Rust
Como instalar rust-genai?
Adicione o crate ao Cargo.toml: cargo add genai Crie um cliente e chame exec_chat com o nome de um modelo
Onde consigo rust-genai?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/jeremychone/rust-genai

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados