Servidor de inferência autogerenciado que oferece modelos de embeddings, reranking, OCR, extração, segurança e LLM em um único cluster por uma API compatível com OpenAI.
3,4 mil323PythonApache-2.0Atualizado há 6 horas
#inference-server
Projetos open source sobre “inference-server”
Repositórios do GitHub selecionados relacionados a inference-server, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
1 repositório