Repolode
RUC-NLPIR

RUC-NLPIR/FlashRSI

Единый фреймворк на Python для запуска и сравнения методов рекурсивного самоулучшения (RSI) обвязок AI-агентов на 30 бенчмарках.

Звёзды
333
Форки
21
Открытые issues
0
Последний коммит
17 часов назад

Что это?

FlashRSI — исследовательский фреймворк для рекурсивного самоулучшения AI-агентов. Он объединяет 12 алгоритмов RSI, 30 наборов бенчмарков и четыре обвязки агентов (MiniAgent, Claude Code, Codex и Pi) в едином интерфейсе экспериментов: методы можно заменять и сравнивать, не создавая новый раннер. Эксперименты задаются в YAML или через CLI flashrsi; метод RSI, целевая обвязка, модель-исполнитель и бенчмарк выбираются независимо.

Фреймворк представляет обвязку как набор файлов с тегами (промптов, навыков, инструментов, конфигурации и кода среды выполнения), объединённых в неизменяемые Snapshots. Для каждого запуска сохраняются Snapshot-кандидаты, конфигурация с удалёнными секретами, траектории целевого агента и исполнителя, метрики и Snapshot, выбранный в конце. Сохранённый Snapshot можно повторно оценить на других бенчмарках командой evaluate, не запуская эволюцию заново.

Проект предназначен для исследователей, которые хотят воспроизводить результаты RSI или разрабатывать новые методы на общей платформе для получения кода, выполнения экспериментов и оценки результатов. В комплект входят сайт с документацией и руководства по добавлению алгоритмов, бенчмарков и обвязок агентов.

Ключевые возможности

  • 01Запускает 12 методов RSI, включая OPRO, GEPA, EvoPrompt, ACE и Meta-Harness, через единый интерфейс.
  • 02Поддерживает 30 наборов бенчмарков по QA, математике, программированию, веб-исследованиям, работе с документами и инструментами.
  • 03Представляет MiniAgent, Claude Code, Codex и Pi в виде редактируемых версионируемых Snapshots.
  • 04Сохраняет кандидатов, траектории, метрики и выбранный Snapshot для каждого запуска.
  • 05Позволяет оценивать сохранённые Snapshots на других бенчмарках без повторного запуска эволюции.
  • 06Настраивается с помощью YAML-файлов или флагов CLI с переопределениями через точечную нотацию.

Сценарии использования

  • Воспроизведение опубликованных результатов RSI на бенчмарках для агентов с использованием общего конвейера.
  • Сравнение нескольких алгоритмов самоулучшения на одной и той же обвязке и бенчмарке.
  • Проверка переноса эволюционировавшей обвязки агента на близкие или отличающиеся по предметной области задачи.
  • Добавление нового метода RSI или бенчмарка в общий фреймворк экспериментов.

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/RUC-NLPIR/FlashRSI.git
  2. 2

    Перейдите в каталог и создайте виртуальное окружение с помощью uv

    cd FlashRSI && uv venv --python 3.12 && source .venv/bin/activate
  3. 3

    Установите фреймворк со всеми интеграциями для бенчмарков

    uv sync --extra all
  4. 4

    Настройте API-ключи и запустите небольшой эксперимент RSI

    flashrsi run --config examples/quickstart.yaml

Что важно знать

  • Для запуска экспериментов нужны API-ключи целевой модели и модели-исполнителя.
  • Для некоторых бенчмарков нужен Docker, а для задач Harbor требуется дополнительная установка.
  • Проект находится на ранней стадии: всего 70 звёзд, требуется Python 3.12.

В подборках

Темы

Частые вопросы

Что такое FlashRSI?
Единый фреймворк на Python для запуска и сравнения методов рекурсивного самоулучшения (RSI) обвязок AI-агентов на 30 бенчмарках. FlashRSI — исследовательский фреймворк для рекурсивного самоулучшения AI-агентов. Он объединяет 12 алгоритмов RSI, 30 наборов бенчмарков и четыре обвязки агентов (MiniAgent, Claude Code, Codex и Pi) в едином интерфейсе экспериментов: методы можно заменять и сравнивать, не создавая новый раннер. Эксперименты задаются в YAML или через CLI flashrsi; метод RSI, целевая обвязка, модель-исполнитель и бенчмарк выбираются независимо.
FlashRSI можно использовать бесплатно? Какая у него лицензия?
FlashRSI распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
FlashRSI всё ещё поддерживается?
Активно поддерживается. Последний коммит в FlashRSI — 5 нояб. 2026 г..
Для чего можно использовать FlashRSI?
Воспроизведение опубликованных результатов RSI на бенчмарках для агентов с использованием общего конвейера. Сравнение нескольких алгоритмов самоулучшения на одной и той же обвязке и бенчмарке. Проверка переноса эволюционировавшей обвязки агента на близкие или отличающиеся по предметной области задачи. Добавление нового метода RSI или бенчмарка в общий фреймворк экспериментов.
Как установить FlashRSI?
Клонируйте репозиторий: git clone https://github.com/RUC-NLPIR/FlashRSI.git Перейдите в каталог и создайте виртуальное окружение с помощью uv: cd FlashRSI && uv venv --python 3.12 && source .venv/bin/activate Установите фреймворк со всеми интеграциями для бенчмарков: uv sync --extra all Настройте API-ключи и запустите небольшой эксперимент RSI: flashrsi run --config examples/quickstart.yaml
Где скачать FlashRSI?
Исходный код и инструкции по установке — на GitHub: https://github.com/RUC-NLPIR/FlashRSI

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Открытый исследовательский фреймворк и модель на 27B параметров для рекурсивной разработки и оценки научных гипотез, ориентированные на исследования в области наук о жизни.

ИИ и машинное обучение#ai-for-science#llm-agents#agent-framework
146+6 за неделю11PythonOtherОбновлён 7 дней назад

Библиотека для Python в стиле PyTorch, предназначенная для создания LLM-приложений — чат-ботов, RAG-систем и агентов — с автоматической оптимизацией промптов.

4,2 тыс.+1 за неделю388PythonMITАктивно поддерживаетсяОбновлён 5 дней назад