Repolode
Enviar
RUC-NLPIR

RUC-NLPIR/FlashRSI

Framework unificado de Python para ejecutar y comparar métodos de mejora recursiva (RSI) en entornos de agentes de IA con 30 benchmarks.

Ver en GitHubSitio web
Estrellas
341
Forks
21
Issues abiertos
0
Último commit
hace 18 horas

¿Qué es?

FlashRSI es un framework de investigación para la mejora recursiva de agentes de IA. Reúne 12 algoritmos RSI, 30 suites de benchmarks y cuatro entornos de agentes (MiniAgent, Claude Code, Codex y Pi) en una sola interfaz de experimentación, de modo que es posible cambiar de método o compararlos sin tener que escribir un nuevo ejecutor. Los experimentos se definen en YAML o mediante la CLI de flashrsi, y permiten elegir por separado el método RSI, el entorno de destino, el modelo de los workers y el benchmark.

El framework representa cada entorno como un conjunto de archivos etiquetados (prompts, skills, herramientas, configuración y código de runtime), empaquetados en Snapshots inmutables. Cada ejecución registra los Snapshots candidatos, la configuración con los datos sensibles ocultos, las trayectorias del agente de destino y de los workers, las métricas y el Snapshot seleccionado al final. Con el comando evaluate, se puede volver a evaluar un Snapshot guardado en otros benchmarks sin ejecutar de nuevo el proceso de evolución.

El proyecto está dirigido a investigadores que quieran reproducir resultados de RSI o desarrollar nuevos métodos con un proceso compartido de checkout, ejecución y evaluación. Incluye un sitio de documentación y guías para añadir algoritmos, benchmarks y entornos de agentes.

Funciones clave

  • 01Ejecuta 12 métodos RSI, entre ellos OPRO, GEPA, EvoPrompt, ACE y Meta-Harness, desde una sola interfaz.
  • 02Admite 30 suites de benchmarks que abarcan preguntas y respuestas, matemáticas, programación, investigación web, documentos y uso de herramientas.
  • 03Integra MiniAgent, Claude Code, Codex y Pi en Snapshots editables y con control de versiones.
  • 04Registra los candidatos, las trayectorias, las métricas y el Snapshot seleccionado en cada ejecución.
  • 05Permite evaluar Snapshots guardados en otros benchmarks sin volver a ejecutar el proceso de evolución.
  • 06Se configura mediante archivos YAML o flags de CLI con sobrescrituras usando notación de puntos.

Casos de uso

  • Reproducir resultados publicados de RSI en benchmarks de agentes mediante un proceso compartido.
  • Comparar varios algoritmos de mejora autónoma con el mismo entorno de agente y benchmark.
  • Probar si un entorno de agente evolucionado se transfiere a tareas de dominios similares o ajenos.
  • Añadir un nuevo método RSI o benchmark a un framework de experimentación común.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/RUC-NLPIR/FlashRSI.git
  2. 2

    Entra en el directorio y crea un entorno virtual con uv

    cd FlashRSI && uv venv --python 3.12 && source .venv/bin/activate
  3. 3

    Instala el framework con todas las integraciones de benchmarks

    uv sync --extra all
  4. 4

    Configura las claves de API y ejecuta un pequeño experimento de RSI

    flashrsi run --config examples/quickstart.yaml

Antes de usarlo

  • Para ejecutar experimentos se necesitan claves de API de los modelos objetivo y de trabajo.
  • Algunos benchmarks requieren Docker, y las tareas de Harbor necesitan una instalación adicional.
  • Es un proyecto en una fase inicial, con solo 70 estrellas y que requiere Python 3.12.

En colecciones

Frameworks y apps de agentes de IA open source

Temas

#ai-agents#self-improvement#llm#benchmark#prompt-optimization#research-framework#python#agent#recursive-self-improvement

Preguntas frecuentes

¿Qué es FlashRSI?
Framework unificado de Python para ejecutar y comparar métodos de mejora recursiva (RSI) en entornos de agentes de IA con 30 benchmarks. FlashRSI es un framework de investigación para la mejora recursiva de agentes de IA. Reúne 12 algoritmos RSI, 30 suites de benchmarks y cuatro entornos de agentes (MiniAgent, Claude Code, Codex y Pi) en una sola interfaz de experimentación, de modo que es posible cambiar de método o compararlos sin tener que escribir un nuevo ejecutor. Los experimentos se definen en YAML o mediante la CLI de flashrsi, y permiten elegir por separado el método RSI, el entorno de destino, el modelo de los workers y el benchmark.
¿FlashRSI es gratuito? ¿Qué licencia tiene?
FlashRSI es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿FlashRSI sigue mantenido?
Mantenimiento activo. El último commit de FlashRSI fue el 6 nov 2026.
¿Para qué puedo usar FlashRSI?
Reproducir resultados publicados de RSI en benchmarks de agentes mediante un proceso compartido. Comparar varios algoritmos de mejora autónoma con el mismo entorno de agente y benchmark. Probar si un entorno de agente evolucionado se transfiere a tareas de dominios similares o ajenos. Añadir un nuevo método RSI o benchmark a un framework de experimentación común.
¿Cómo se instala FlashRSI?
Clona el repositorio: git clone https://github.com/RUC-NLPIR/FlashRSI.git Entra en el directorio y crea un entorno virtual con uv: cd FlashRSI && uv venv --python 3.12 && source .venv/bin/activate Instala el framework con todas las integraciones de benchmarks: uv sync --extra all Configura las claves de API y ejecuta un pequeño experimento de RSI: flashrsi run --config examples/quickstart.yaml
¿Dónde consigo FlashRSI?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/RUC-NLPIR/FlashRSI

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados