Benchmark conversacional com estado para avaliar como agentes LLM usam ferramentas, com simulador de usuário integrado e pontuação baseada em marcos.
ShishirPatil/gorilla
Gorilla é um projeto de código aberto para treinar e avaliar LLMs capazes de fazer chamadas de função precisas e invocar APIs a partir de solicitações em linguagem natural.
Alternativa open source a:OpenAI Function Calling
- Estrelas
- 13,056
- Forks
- 1,413
- Issues abertas
- 293
- Último commit
- há 5 dias
O que é?
Gorilla permite que grandes modelos de linguagem usem ferramentas invocando APIs. Dada uma consulta em linguagem natural, o projeto busca gerar uma chamada de API semanticamente e sintaticamente correta, com o objetivo de reduzir chamadas alucinadas. O repositório inclui código de inferência para modelos Gorilla ajustados, scripts de avaliação e o APIBench, um conjunto de dados com mais de 1.600 APIs para treinamento e testes.
O projeto se expandiu e hoje reúne uma família de componentes. OpenFunctions é um modelo de chamada de função com endpoints compatíveis com a OpenAI que oferece suporte à execução paralela e múltipla de funções. O Berkeley Function Calling Leaderboard (BFCL) avalia a capacidade de chamada de funções em cenários de turno único, múltiplos turnos e agentes. Outros componentes incluem GoEx, um runtime para executar ações geradas por LLMs com desfazer e validação posterior à execução; RAFT, para ajustar modelos em geração aumentada por recuperação específica de domínio; e Agent Arena, para comparar agentes.
Os modelos e o código são distribuídos sob a licença Apache 2.0.
Recursos principais
- 01Gera chamadas de API a partir de consultas em linguagem natural, abrangendo mais de 1.600 APIs no APIBench.
- 02Oferece modelos OpenFunctions com endpoints compatíveis com a OpenAI, incluindo chamadas paralelas e múltiplas de funções.
- 03Inclui o Berkeley Function Calling Leaderboard para avaliar chamadas de função em cenários de turno único, múltiplos turnos e agentes.
- 04Oferece o GoEx, um runtime para executar ações geradas por LLMs com desfazer e validação posterior à execução.
- 05Disponibiliza receitas RAFT para ajustar modelos em geração aumentada por recuperação específica de domínio.
Casos de uso
- Criar um agente LLM que precise chamar ferramentas externas ou APIs REST de forma confiável.
- Avaliar o desempenho de diferentes modelos em chamadas de função antes de escolher um.
- Ajustar um modelo aberto menor para responder a perguntas específicas de um domínio com base em documentos.
- Disponibilizar um endpoint de chamada de função no estilo OpenAI usando um modelo de código aberto.
Início rápido
- 1
Instale o Gorilla CLI com pip
pip install gorilla-cli - 2
Gere um arquivo com o Gorilla CLI
gorilla generate 100 random characters into a file called test.txt
Antes de usar
- Alguns recursos dependem de demonstrações hospedadas ou de um endpoint remoto do OpenFunctions cuja disponibilidade não é garantida.
- Para executar a configuração de inferência local, é necessário clonar o repositório e seguir um guia de configuração separado.
Tópicos
Perguntas frequentes
- O que é gorilla?
- Gorilla é um projeto de código aberto para treinar e avaliar LLMs capazes de fazer chamadas de função precisas e invocar APIs a partir de solicitações em linguagem natural. Gorilla permite que grandes modelos de linguagem usem ferramentas invocando APIs. Dada uma consulta em linguagem natural, o projeto busca gerar uma chamada de API semanticamente e sintaticamente correta, com o objetivo de reduzir chamadas alucinadas. O repositório inclui código de inferência para modelos Gorilla ajustados, scripts de avaliação e o APIBench, um conjunto de dados com mais de 1.600 APIs para treinamento e testes.
- gorilla é gratuito? Qual é a licença?
- gorilla é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- gorilla ainda é mantido?
- Manutenção ativa. O último commit de gorilla foi em 17 de out. de 2026.
- Para que posso usar gorilla?
- Criar um agente LLM que precise chamar ferramentas externas ou APIs REST de forma confiável. Avaliar o desempenho de diferentes modelos em chamadas de função antes de escolher um. Ajustar um modelo aberto menor para responder a perguntas específicas de um domínio com base em documentos. Disponibilizar um endpoint de chamada de função no estilo OpenAI usando um modelo de código aberto.
- Como instalar gorilla?
- Instale o Gorilla CLI com pip: pip install gorilla-cli Gere um arquivo com o Gorilla CLI: gorilla generate 100 random characters into a file called test.txt
- Onde consigo gorilla?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ShishirPatil/gorilla
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Framework Python para criar aplicações com LLMs, agentes que colaboram entre si, ferramentas e geração aumentada por recuperação.
Framework em Python que avalia LLMs fazendo-os jogar Bulls and Cows por meio de provedores compatíveis com LiteLLM.
Uma biblioteca Python minimalista para criar agentes de IA que escrevem e executam suas ações como código Python.
SDKs para TypeScript e Python que dão a agentes de IA acesso a mais de 1.000 toolkits de apps pré-autenticados, sessões por usuário e um sandbox para executar ações.
Modelos de linguagem grandes open source ajustados para tarefas financeiras, como análise de sentimento, previsão e benchmarks de NLP financeiro.