Un motor de inferencia en Rust/LibTorch que ofrece embeddings, reranking, clasificación y decisiones tipadas mediante una API REST.
Infinity es un motor para servir modelos de embeddings de texto, reranking, clasificación y otros relacionados. Su servidor v3 está escrito en Rust y ejecuta inferencias mediante LibTorch, la interfaz de C++ de PyTorch. Los clientes se conectan por HTTP a endpoints como /v1/embeddings para obtener vectores densos, /rerank para reranking, /v1/classify para clasificación de secuencias y puntuación de recompensas, y /embed_sparse para embeddings dispersos de SPLADE.
El servidor se inicia desde una imagen de Docker y requiere una GPU NVIDIA con capacidad de cómputo SM80 (Ampere) o superior, además de NVIDIA Container Toolkit. De forma predeterminada, utiliza todas las GPU CUDA visibles y mantiene una réplica completa del modelo en cada una. También selecciona el pooling a partir de los metadatos del checkpoint. El endpoint /health indica que el servidor está listo después de cargar el modelo y completar el calentamiento, y el servidor en ejecución ofrece una página interactiva de la API en /docs.
El catálogo de modelos compatibles del proyecto incluye embeddings densos y multimodales, embeddings de vectores por token para recuperación con interacción tardía, clasificación de tokens y reconocimiento de entidades nombradas, y decisiones tipadas. Las versiones anteriores basadas en Python (v2, instaladas como infinity-emb) siguen en el mismo repositorio.
Ejecuta el servidor de Infinity v3 en Docker (necesita una GPU NVIDIA, SM80 o posterior, y NVIDIA Container Toolkit).
docker run --rm --gpus all -p 8000:8000 -v infinity-cache:/data ghcr.io/michaelfeil/infinity_v3:nvidia-3.0.0 --model-id sentence-transformers/all-MiniLM-L6-v2 --torch-device cuda --dtype bfloat16 --hostname 0.0.0.0 --port 8000Envía una solicitud de embeddings al servidor en ejecución.
curl http://localhost:8000/v1/embeddings -H 'Content-Type: application/json' -d '{"model":"sentence-transformers/all-MiniLM-L6-v2","input":["A document about semantic search."]}'Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Servidor de inferencia autohospedado que sirve modelos de embeddings, reranking, OCR, extracción, seguridad y LLM desde un solo clúster mediante una API compatible con OpenAI.
Servidor de deep learning, paquete wheel de Python y CLI para entrenar y ejecutar modelos con imágenes, texto, datos tabulares y series temporales mediante una REST API.
Paquete provider que conecta Vercel AI SDK con OpenRouter y permite acceder a cientos de LLM mediante una sola API.
Biblioteca de Go para buscar vectores por similitud coseno exacta, con embeddings GGUF locales opcionales vía llama.cpp y embeddings en la nube mediante API compatibles con OpenAI.
Herramienta para desarrolladores que ejecuta modelos de IA localmente en contenedores OCI, descarga automáticamente imágenes para la GPU y ofrece los modelos mediante una API REST o un chatbot.
CLI y toolkit de Python para empaquetar y desplegar modelos de ML en Baseten o en infraestructura propia como servidores de modelos listos para producción.