Бенчмарк с сохранением состояния для оценки того, как LLM-агенты используют инструменты в диалоге; включает симулятор пользователя и оценку по этапам.
ShishirPatil/gorilla
Gorilla — проект с открытым исходным кодом для обучения и оценки LLM, которые точно вызывают функции и API по запросам на естественном языке.
Open source альтернатива:OpenAI Function Calling
- Звёзды
- 13,056
- Форки
- 1,413
- Открытые issues
- 293
- Последний коммит
- 5 дней назад
Что это?
Gorilla помогает большим языковым моделям использовать инструменты, вызывая API. Получив запрос на естественном языке, модель должна сформировать семантически и синтаксически корректный вызов API, чтобы сократить число галлюцинированных вызовов. В репозитории есть код для инференса дообученных моделей Gorilla, скрипты оценки и APIBench — набор данных с более чем 1 600 API для обучения и тестирования.
Проект разросся до семейства компонентов. OpenFunctions — модель для вызова функций с эндпоинтами, совместимыми с OpenAI, которая поддерживает параллельное выполнение и вызов нескольких функций. Berkeley Function Calling Leaderboard (BFCL) оценивает способность вызывать функции в сценариях с одним и несколькими ходами, а также в агентских сценариях. Среди других компонентов — GoEx, среда выполнения для действий, сгенерированных LLM, с возможностью отмены и последующей проверки; RAFT для дообучения моделей на предметно-ориентированной генерации с дополнением поиском; и Agent Arena для сравнения агентов.
Модели и код распространяются по лицензии Apache 2.0.
Ключевые возможности
- 01Генерирует вызовы API по запросам на естественном языке; APIBench охватывает более 1 600 API.
- 02Предоставляет модели OpenFunctions с эндпоинтами, совместимыми с OpenAI, включая поддержку параллельных вызовов и вызова нескольких функций.
- 03Включает Berkeley Function Calling Leaderboard для оценки вызова функций в сценариях с одним и несколькими ходами, а также в агентских сценариях.
- 04Предлагает GoEx — среду выполнения для действий, сгенерированных LLM, с возможностью отмены и последующей проверки.
- 05Предоставляет рецепты RAFT для дообучения моделей на предметно-ориентированной генерации с дополнением поиском.
Сценарии использования
- Создание LLM-агента, которому нужно надежно вызывать внешние инструменты или REST API.
- Сравнение моделей по качеству вызова функций перед выбором подходящей.
- Дообучение небольшой открытой модели для ответов на вопросы по документам в конкретной предметной области.
- Развертывание эндпоинта для вызова функций в стиле OpenAI на базе модели с открытым исходным кодом.
Быстрый старт
- 1
Установите Gorilla CLI с помощью pip
pip install gorilla-cli - 2
Создайте файл с помощью Gorilla CLI
gorilla generate 100 random characters into a file called test.txt
Что важно знать
- Некоторые функции зависят от размещённых в сети демонстраций или удалённой конечной точки OpenFunctions, доступность которой не гарантируется.
- Чтобы запустить локальную настройку инференса, необходимо клонировать репозиторий и следовать отдельному руководству по настройке.
Темы
Частые вопросы
- Что такое gorilla?
- Gorilla — проект с открытым исходным кодом для обучения и оценки LLM, которые точно вызывают функции и API по запросам на естественном языке. Gorilla помогает большим языковым моделям использовать инструменты, вызывая API. Получив запрос на естественном языке, модель должна сформировать семантически и синтаксически корректный вызов API, чтобы сократить число галлюцинированных вызовов. В репозитории есть код для инференса дообученных моделей Gorilla, скрипты оценки и APIBench — набор данных с более чем 1 600 API для обучения и тестирования.
- gorilla можно использовать бесплатно? Какая у него лицензия?
- gorilla распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- gorilla всё ещё поддерживается?
- Активно поддерживается. Последний коммит в gorilla — 17 окт. 2026 г..
- Для чего можно использовать gorilla?
- Создание LLM-агента, которому нужно надежно вызывать внешние инструменты или REST API. Сравнение моделей по качеству вызова функций перед выбором подходящей. Дообучение небольшой открытой модели для ответов на вопросы по документам в конкретной предметной области. Развертывание эндпоинта для вызова функций в стиле OpenAI на базе модели с открытым исходным кодом.
- Как установить gorilla?
- Установите Gorilla CLI с помощью pip: pip install gorilla-cli Создайте файл с помощью Gorilla CLI: gorilla generate 100 random characters into a file called test.txt
- Где скачать gorilla?
- Исходный код и инструкции по установке — на GitHub: https://github.com/ShishirPatil/gorilla
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Python-фреймворк для создания приложений на базе LLM с взаимодействующими агентами, инструментами и RAG.
Python-фреймворк для сравнения LLM в игре «Быки и коровы» через совместимые с LiteLLM провайдеры.
Минималистичная библиотека Python для создания AI-агентов, которые записывают свои действия на Python и выполняют их.
SDK для TypeScript и Python, который предоставляет AI-агентам более 1000 приложений с настроенной аутентификацией, пользовательские сессии и песочницу для выполнения действий.
Открытые большие языковые модели, дообученные для финансовых задач: анализа тональности, прогнозирования и тестов по финансовой обработке естественного языка.