Repolode
Enviar
RUC-NLPIR

RUC-NLPIR/FlashRSI

Framework Python unificado para executar e comparar métodos de autoaperfeiçoamento recursivo (RSI) em estruturas de agentes de IA, com 30 benchmarks.

Ver no GitHubSite
Estrelas
341
Forks
21
Issues abertas
0
Último commit
ontem

O que é?

FlashRSI é um framework de pesquisa para o autoaperfeiçoamento recursivo de agentes de IA. Ele reúne 12 algoritmos de RSI, 30 suítes de benchmark e quatro estruturas de agentes (MiniAgent, Claude Code, Codex e Pi) em uma única interface de experimentação, permitindo trocar ou comparar métodos sem escrever um novo runner. Os experimentos são definidos em YAML ou pela CLI flashrsi, com a escolha independente do método de RSI, da estrutura de destino, do modelo worker e do benchmark.

O framework representa uma estrutura de agente como um conjunto de arquivos identificados por tags (prompts, skills, ferramentas, configuração e código de runtime), agrupados em Snapshots imutáveis. Cada execução registra os Snapshots candidatos, a configuração com dados sensíveis ocultados, as trajetórias do agente de destino e do worker, as métricas e o Snapshot selecionado ao final. Com o comando evaluate, é possível reavaliar um Snapshot salvo em outros benchmarks sem executar a evolução novamente.

O projeto é voltado a pesquisadores que querem reproduzir resultados de RSI ou desenvolver novos métodos usando um pipeline compartilhado de checkout, execução e avaliação. Inclui um site de documentação e guias para adicionar algoritmos, benchmarks e estruturas de agentes.

Recursos principais

  • 01Executa 12 métodos de RSI, incluindo OPRO, GEPA, EvoPrompt, ACE e Meta-Harness, por meio de uma única interface.
  • 02Oferece suporte a 30 suítes de benchmark que abrangem QA, matemática, programação, pesquisa na web, documentos e uso de ferramentas.
  • 03Representa MiniAgent, Claude Code, Codex e Pi como Snapshots editáveis e versionados.
  • 04Registra os candidatos, as trajetórias, as métricas e o Snapshot selecionado em cada execução.
  • 05Permite avaliar Snapshots salvos em outros benchmarks sem executar a evolução novamente.
  • 06Pode ser configurado com arquivos YAML ou opções da CLI, incluindo substituições com notação de pontos.

Casos de uso

  • Reproduzir resultados publicados de RSI em benchmarks de agentes com um pipeline compartilhado.
  • Comparar vários algoritmos de autoaperfeiçoamento usando a mesma estrutura de agente e o mesmo benchmark.
  • Testar se uma estrutura de agente evoluída se adapta a tarefas de domínios próximos ou fora do domínio.
  • Adicionar um método de RSI ou benchmark a um framework de experimentação compartilhado.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/RUC-NLPIR/FlashRSI.git
  2. 2

    Acesse o diretório e crie um ambiente virtual com uv

    cd FlashRSI && uv venv --python 3.12 && source .venv/bin/activate
  3. 3

    Instale o framework com todas as integrações de benchmark

    uv sync --extra all
  4. 4

    Configure as chaves de API e execute um pequeno experimento de RSI

    flashrsi run --config examples/quickstart.yaml

Antes de usar

  • É necessário ter chaves de API dos modelos-alvo e dos modelos de trabalho para executar experimentos.
  • Alguns benchmarks precisam do Docker, e as tarefas do Harbor exigem uma instalação adicional.
  • É um projeto em estágio inicial, com apenas 70 estrelas e que requer Python 3.12.

Em coleções

Frameworks e apps de agentes de IA open source

Tópicos

#ai-agents#self-improvement#llm#benchmark#prompt-optimization#research-framework#python#agent#recursive-self-improvement

Perguntas frequentes

O que é FlashRSI?
Framework Python unificado para executar e comparar métodos de autoaperfeiçoamento recursivo (RSI) em estruturas de agentes de IA, com 30 benchmarks. FlashRSI é um framework de pesquisa para o autoaperfeiçoamento recursivo de agentes de IA. Ele reúne 12 algoritmos de RSI, 30 suítes de benchmark e quatro estruturas de agentes (MiniAgent, Claude Code, Codex e Pi) em uma única interface de experimentação, permitindo trocar ou comparar métodos sem escrever um novo runner. Os experimentos são definidos em YAML ou pela CLI flashrsi, com a escolha independente do método de RSI, da estrutura de destino, do modelo worker e do benchmark.
FlashRSI é gratuito? Qual é a licença?
FlashRSI é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
FlashRSI ainda é mantido?
Manutenção ativa. O último commit de FlashRSI foi em 6 de nov. de 2026.
Para que posso usar FlashRSI?
Reproduzir resultados publicados de RSI em benchmarks de agentes com um pipeline compartilhado. Comparar vários algoritmos de autoaperfeiçoamento usando a mesma estrutura de agente e o mesmo benchmark. Testar se uma estrutura de agente evoluída se adapta a tarefas de domínios próximos ou fora do domínio. Adicionar um método de RSI ou benchmark a um framework de experimentação compartilhado.
Como instalar FlashRSI?
Clone o repositório: git clone https://github.com/RUC-NLPIR/FlashRSI.git Acesse o diretório e crie um ambiente virtual com uv: cd FlashRSI && uv venv --python 3.12 && source .venv/bin/activate Instale o framework com todas as integrações de benchmark: uv sync --extra all Configure as chaves de API e execute um pequeno experimento de RSI: flashrsi run --config examples/quickstart.yaml
Onde consigo FlashRSI?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/RUC-NLPIR/FlashRSI

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados