michaelfeil/infinity

O que é?

Recursos principais

• 01Oferece embeddings, reranking, classificação e decisões tipadas por uma REST API.
• 02Executa inferências com LibTorch em um servidor Rust.
• 03Usa todas as GPUs CUDA visíveis por padrão, com uma réplica completa do modelo em cada uma.
• 04Oferece embeddings esparsos SPLADE e embeddings de vetores de tokens para recuperação por late interaction.
• 05Informa que está pronto após o carregamento do modelo e o warmup, por meio de /health.

Casos de uso

• Hospedar um endpoint de embeddings para busca semântica ou geração aumentada por recuperação em GPUs NVIDIA.
• Adicionar uma etapa de reranking a um pipeline de busca por trás de uma API HTTP.
• Executar modelos de reconhecimento de entidades nomeadas ou classificação de sequências como serviço.
• Implantar uma imagem de container com versão fixada para obter inferências reproduzíveis em GPU.

Início rápido

1. 1

   Execute o servidor Infinity v3 no Docker (requer uma GPU NVIDIA, SM80 ou mais recente, e o NVIDIA Container Toolkit).

   docker run --rm --gpus all -p 8000:8000 -v infinity-cache:/data ghcr.io/michaelfeil/infinity_v3:nvidia-3.0.0 --model-id sentence-transformers/all-MiniLM-L6-v2 --torch-device cuda --dtype bfloat16 --hostname 0.0.0.0 --port 8000
2. 2

   Envie uma solicitação de embedding para o servidor em execução.

   curl http://localhost:8000/v1/embeddings -H 'Content-Type: application/json' -d '{"model":"sentence-transformers/all-MiniLM-L6-v2","input":["A document about semantic search."]}'

Antes de usar

• !O servidor v3 usa uma licença personalizada com código-fonte disponível (Infinity Restricted MIT License 1.0), não uma licença padrão de código aberto.
• !O início rápido do Docker documentado requer uma GPU NVIDIA com capacidade de computação SM80 ou superior.
• !Cada GPU precisa comportar o modelo completo, incluindo todos os experts nos checkpoints MoE.

Em coleções

Tópicos

Perguntas frequentes

O que é infinity?

Um mecanismo de serving em Rust/LibTorch que oferece embeddings, reranking, classificação e decisões tipadas por uma REST API. Infinity é um mecanismo de serving de modelos para embeddings de texto, reranking, classificação e modelos relacionados. Seu servidor v3 é escrito em Rust e executa inferências pelo LibTorch, a interface C++ do PyTorch. Os clientes fazem chamadas por HTTP usando endpoints como /v1/embeddings para vetores densos, /rerank para reranking, /v1/classify para classificação de sequências e pontuação de recompensa, e /embed_sparse para embeddings esparsos SPLADE.

infinity é gratuito? Qual é a licença?

infinity é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

infinity ainda é mantido?

Manutenção ativa. O último commit de infinity foi em 7 de nov. de 2026.

Para que posso usar infinity?

Hospedar um endpoint de embeddings para busca semântica ou geração aumentada por recuperação em GPUs NVIDIA. Adicionar uma etapa de reranking a um pipeline de busca por trás de uma API HTTP. Executar modelos de reconhecimento de entidades nomeadas ou classificação de sequências como serviço. Implantar uma imagem de container com versão fixada para obter inferências reproduzíveis em GPU.

Como instalar infinity?

Execute o servidor Infinity v3 no Docker (requer uma GPU NVIDIA, SM80 ou mais recente, e o NVIDIA Container Toolkit).: docker run --rm --gpus all -p 8000:8000 -v infinity-cache:/data ghcr.io/michaelfeil/infinity_v3:nvidia-3.0.0 --model-id sentence-transformers/all-MiniLM-L6-v2 --torch-device cuda --dtype bfloat16 --hostname 0.0.0.0 --port 8000 Envie uma solicitação de embedding para o servidor em execução.: curl http://localhost:8000/v1/embeddings -H 'Content-Type: application/json' -d '{"model":"sentence-transformers/all-MiniLM-L6-v2","input":["A document about semantic search."]}'

Onde consigo infinity?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/michaelfeil/infinity