Repolode
Enviar
jeremychone

jeremychone/rust-genai

Biblioteca de Rust que ofrece una API común para conversar con muchos proveedores de IA mediante el protocolo nativo de cada uno.

Ver en GitHub
Estrellas
936
Forks
197
Issues abiertos
42
Último commit
hace 3 días

¿Qué es?

genai es una biblioteca cliente de Rust para modelos de IA generativa. Ofrece una API de chat que funciona con proveedores como OpenAI, Anthropic, Gemini, Ollama (para modelos locales), Groq, xAI, DeepSeek, Cohere, Mistral y muchos más. El adaptador de cada modelo se selecciona a partir del prefijo de su nombre o se puede forzar con un espacio de nombres como `groq::` u `ollama_cloud::`.

La biblioteca usa el protocolo nativo de cada proveedor cuando está disponible, lo que permite representar funciones específicas, como controles de razonamiento, presupuestos de pensamiento, metadatos de streaming y entradas multimodales. Cuando un proveedor ofrece principalmente una API compatible con OpenAI, genai usa esa capa. Se pueden configurar endpoints personalizados compatibles con OpenAI mediante variables de entorno o con un ServiceTargetResolver para definir autenticación y endpoints personalizados.

La biblioteca se centra en chat de texto, visión y llamadas a funciones. Está diseñada en torno a APIs comunes y fáciles de usar, en lugar de ofrecer cobertura completa del SDK de cada proveedor. El backend TLS se puede elegir mediante features de Cargo.

Funciones clave

  • 01API de chat unificada para muchos proveedores de IA, incluidos los modelos locales de Ollama
  • 02Adaptador del modelo seleccionado automáticamente a partir de su nombre o forzado mediante un espacio de nombres
  • 03Compatibilidad con el protocolo nativo cuando está disponible, con alternativa compatible con OpenAI
  • 04Endpoints y autenticación personalizados mediante variables de entorno o un resolver de destinos
  • 05Compatibilidad con entradas de imágenes y llamadas a funciones
  • 06Backends TLS seleccionables (rustls de forma predeterminada o native-tls)

Casos de uso

  • Crear una aplicación de Rust que cambie entre modelos de OpenAI, Anthropic y Gemini sin tener que reescribir las llamadas
  • Ejecutar modelos locales mediante Ollama con la misma API que los proveedores en la nube
  • Conectar un servicio de Rust a un servidor de inferencia propio compatible con OpenAI
  • Añadir funciones de visión o llamadas a herramientas a un backend de Rust

Inicio rápido

  1. 1

    Añade el crate a Cargo.toml

    cargo add genai
  2. 2

    Crea un cliente y llama a exec_chat con el nombre de un modelo

Antes de usarlo

  • Versión anterior a la 1.0 (0.7.x), con cambios incompatibles entre versiones menores.

En colecciones

Herramientas, skills y plugins para Claude CodeEjecuta LLM en local

Temas

#llm#rust#multi-provider#ollama#openai#anthropic#gemini#chat-completion

Preguntas frecuentes

¿Qué es rust-genai?
Biblioteca de Rust que ofrece una API común para conversar con muchos proveedores de IA mediante el protocolo nativo de cada uno. genai es una biblioteca cliente de Rust para modelos de IA generativa. Ofrece una API de chat que funciona con proveedores como OpenAI, Anthropic, Gemini, Ollama (para modelos locales), Groq, xAI, DeepSeek, Cohere, Mistral y muchos más. El adaptador de cada modelo se selecciona a partir del prefijo de su nombre o se puede forzar con un espacio de nombres como `groq::` u `ollama_cloud::`.
¿rust-genai es gratuito? ¿Qué licencia tiene?
rust-genai es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿rust-genai sigue mantenido?
Mantenimiento activo. El último commit de rust-genai fue el 4 nov 2026.
¿Para qué puedo usar rust-genai?
Crear una aplicación de Rust que cambie entre modelos de OpenAI, Anthropic y Gemini sin tener que reescribir las llamadas Ejecutar modelos locales mediante Ollama con la misma API que los proveedores en la nube Conectar un servicio de Rust a un servidor de inferencia propio compatible con OpenAI Añadir funciones de visión o llamadas a herramientas a un backend de Rust
¿Cómo se instala rust-genai?
Añade el crate a Cargo.toml: cargo add genai Crea un cliente y llama a exec_chat con el nombre de un modelo
¿Dónde consigo rust-genai?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/jeremychone/rust-genai

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados