Repolode
Предложить
rllm-org

rllm-org/rllm

Open-source фреймворк для обучения LLM-агентов с помощью reinforcement learning, совместимый с любыми агентскими harness, sandbox и бэкендами обучения.

Открыть на GitHubСайт
Звёзды
5,888
Форки
633
Открытые issues
172
Последний коммит
4 дня назад

Что это?

rLLM — это фреймворк для постобучения языковых агентов с помощью reinforcement learning. Он позволяет запустить готового агента — например, CLI-агента для написания кода Claude Code или Codex — или собственного агента на базе LangGraph или OpenAI SDK, а затем использовать собранные трассировки и сигналы награды для обновления модели. Один и тот же код агента используется и для оценки, и для обучения, поэтому перенастраивать его между этими этапами не нужно.

Агентские rollouts можно запускать в Docker, Daytona, Modal или локально. Для обучения можно выбрать бэкенд verl для распределённых запусков на нескольких GPU, tinker для обучения на одной машине или платформу Fireworks; переключение между ними выполняется одним флагом. В проект также входят интеграции с более чем 60 бенчмарками, например Terminal-Bench 2.0, SWE-bench, AIME и GPQA. Их можно запускать командой rllm eval.

Фреймворк поддерживает такие методы обучения, как GRPO, REINFORCE, RLOO, SFT и on-policy distillation. Шлюз модели во время rollouts собирает ID токенов и logprobs, а затем группирует их в эпизоды, траектории и шаги для обновления RL-модели.

Ключевые возможности

  • 01Работает с CLI-harness, такими как Claude Code, Codex и mini-swe-agent, а также с пользовательскими агентами, написанными с помощью @rllm.rollout.
  • 02Запускает агентские rollouts в Docker, Daytona, Modal или локальных sandbox.
  • 03Позволяет переключаться между бэкендами обучения verl, tinker и Fireworks одним флагом.
  • 04Предоставляет встроенные инструменты оценки для более чем 60 бенчмарков через rllm eval.
  • 05Реализует GRPO, REINFORCE, RLOO, SFT и on-policy distillation.

Сценарии использования

  • Обучение агента для написания кода с помощью reinforcement learning на бенчмарках вроде SWE-bench или Terminal-Bench.
  • Постобучение математической модели или модели для рассуждений с помощью GRPO на датасетах вроде GSM8K или AIME.
  • Улучшение существующего приложения на LangGraph или OpenAI Agents SDK с помощью RL без переписывания его кода.
  • Запуск одного и того же агента в контурах оценки и обучения на нескольких GPU.

Быстрый старт

  1. 1

    Установите rLLM с помощью uv (бэкенд tinker)

    uv pip install "rllm @ git+https://github.com/rllm-org/rllm.git"
  2. 2

    Настройте провайдера моделей

    rllm model setup
  3. 3

    Оцените на бенчмарке

    rllm eval gsm8k
  4. 4

    Обучайте с помощью RL

    rllm train gsm8k

Что важно знать

  • Требуется Python версии 3.11 или новее.
  • Для обучения необходим провайдер моделей или бэкенд, например tinker, verl с GPU или Fireworks.

Темы

#reinforcement-learning#llm-training#agents#grpo#llm-reasoning#distributed-training#benchmarks#agent-framework#agentic-workflow#coding-agent

Частые вопросы

Что такое rllm?
Open-source фреймворк для обучения LLM-агентов с помощью reinforcement learning, совместимый с любыми агентскими harness, sandbox и бэкендами обучения. rLLM — это фреймворк для постобучения языковых агентов с помощью reinforcement learning. Он позволяет запустить готового агента — например, CLI-агента для написания кода Claude Code или Codex — или собственного агента на базе LangGraph или OpenAI SDK, а затем использовать собранные трассировки и сигналы награды для обновления модели. Один и тот же код агента используется и для оценки, и для обучения, поэтому перенастраивать его между этими этапами не нужно.
rllm можно использовать бесплатно? Какая у него лицензия?
rllm распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
rllm всё ещё поддерживается?
Активно поддерживается. Последний коммит в rllm — 16 окт. 2026 г..
Для чего можно использовать rllm?
Обучение агента для написания кода с помощью reinforcement learning на бенчмарках вроде SWE-bench или Terminal-Bench. Постобучение математической модели или модели для рассуждений с помощью GRPO на датасетах вроде GSM8K или AIME. Улучшение существующего приложения на LangGraph или OpenAI Agents SDK с помощью RL без переписывания его кода. Запуск одного и того же агента в контурах оценки и обучения на нескольких GPU.
Как установить rllm?
Установите rLLM с помощью uv (бэкенд tinker): uv pip install "rllm @ git+https://github.com/rllm-org/rllm.git" Настройте провайдера моделей: rllm model setup Оцените на бенчмарке: rllm eval gsm8k Обучайте с помощью RL: rllm train gsm8k
Где скачать rllm?
Исходный код и инструкции по установке — на GitHub: https://github.com/rllm-org/rllm

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

areal-project / AReaL

Масштабируемая система асинхронного обучения с подкреплением для тренировки LLM, способных рассуждать и действовать как агенты; обучение агентов с закрытым исходным кодом запускается заменой base_url.

ИИ и машинное обучение#reinforcement-learning#llm#agent
5,9 тыс.634PythonApache-2.0Обновлён 5 часов назад