Repolode
Предложить
OpenPipe

OpenPipe/ART

Python-фреймворк для обучения многошаговых LLM-агентов на собственном опыте с помощью GRPO; клиент-серверная архитектура позволяет встроить его в существующие приложения.

Открыть на GitHubСайт
Звёзды
10,813
Форки
1,008
Открытые issues
171
Последний коммит
15 часов назад

Что это?

ART (Agent Reinforcement Trainer) — open-source-фреймворк для обучения с подкреплением, который помогает улучшать LLM-агентов на основе их собственного опыта. Разработчики оборачивают существующий агентный workflow в клиент ART: он собирает траектории сообщений и назначает вознаграждение каждому запуску, после чего обучает модель с помощью GRPO.

Система состоит из клиента и сервера. Клиент размещается в вашей кодовой базе и предоставляет совместимый с OpenAI интерфейс. Сервер работает на любой машине с GPU, обрабатывает инференс через vLLM и обучает модель с помощью обновлений LoRA, а затем сохраняет каждый новый checkpoint, чтобы использовать его в следующих итерациях. Клиент может работать на ноутбуке, а сервер — локально или в удалённой GPU-среде.

В проекте есть примеры ноутбуков для таких задач, как поиск по электронной почте, 2048, крестики-нолики и Codenames, а также вариант с RULER для автоматической генерации вознаграждений. Поддерживаются причинно-следственные языковые модели, совместимые с vLLM и Hugging Face transformers, в том числе семейства Qwen и Llama. Для обучения также доступен бессерверный backend через Weights & Biases.

Ключевые возможности

  • 01Обучает многошаговых агентов с помощью GRPO на траекториях, собранных в вашем workflow.
  • 02Клиент-серверная архитектура с совместимым с OpenAI интерфейсом клиента.
  • 03Запускает инференс на vLLM и обновляет модели с помощью LoRA-checkpoint’ов.
  • 04Поддерживает автоматическую генерацию вознаграждений через RULER.
  • 05Включает примеры ноутбуков для игр, поиска по электронной почте и дистилляции SFT.
  • 06Интегрируется с LangGraph, Langfuse и Weights & Biases для наблюдаемости.

Сценарии использования

  • Повышение надёжности использования инструментов существующим LLM-агентом без переписывания его кода.
  • Обучение небольшой open-модели, например Qwen, узкой многошаговой задаче — например, поиску по электронной почте.
  • Запуск экспериментов с RL на ноутбуке, пока обучение идёт на удалённом GPU-сервере.
  • Дообучение агента, который вызывает инструменты MCP-сервера.

Быстрый старт

  1. 1

    Установите пакет из PyPI

    pip install openpipe-art

Что важно знать

  • Для обучения требуется GPU — локально или через сервер ART либо бессерверный сервис W&B.
  • Поддерживаются только причинно-следственные языковые модели vLLM/Hugging Face; Gemma 3 пока не поддерживается.
  • Согласно описанию проекта, он активно развивается, поэтому API могут измениться.

Темы

#agent#reinforcement-learning#grpo#llm#lora#vllm#python#agentic-ai#llms#qwen

Частые вопросы

Что такое ART?
Python-фреймворк для обучения многошаговых LLM-агентов на собственном опыте с помощью GRPO; клиент-серверная архитектура позволяет встроить его в существующие приложения. ART (Agent Reinforcement Trainer) — open-source-фреймворк для обучения с подкреплением, который помогает улучшать LLM-агентов на основе их собственного опыта. Разработчики оборачивают существующий агентный workflow в клиент ART: он собирает траектории сообщений и назначает вознаграждение каждому запуску, после чего обучает модель с помощью GRPO.
ART можно использовать бесплатно? Какая у него лицензия?
ART распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
ART всё ещё поддерживается?
Активно поддерживается. Последний коммит в ART — 20 окт. 2026 г..
Для чего можно использовать ART?
Повышение надёжности использования инструментов существующим LLM-агентом без переписывания его кода. Обучение небольшой open-модели, например Qwen, узкой многошаговой задаче — например, поиску по электронной почте. Запуск экспериментов с RL на ноутбуке, пока обучение идёт на удалённом GPU-сервере. Дообучение агента, который вызывает инструменты MCP-сервера.
Как установить ART?
Установите пакет из PyPI: pip install openpipe-art
Где скачать ART?
Исходный код и инструкции по установке — на GitHub: https://github.com/OpenPipe/ART

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

areal-project / AReaL

Масштабируемая система асинхронного обучения с подкреплением для тренировки LLM, способных рассуждать и действовать как агенты; обучение агентов с закрытым исходным кодом запускается заменой base_url.

ИИ и машинное обучение#reinforcement-learning#llm#agent
5,9 тыс.634PythonApache-2.0Обновлён 11 часов назад