Бенчмарк и инструмент оценки, который проверяет, могут ли языковые модели решать реальные задачи GitHub, создавая патчи, проверяемые в Docker.
6,1 тыс.1 тыс.PythonMITОбновлён в прошлом месяце
#software-engineering
Отобранные репозитории GitHub по теме software-engineering с описаниями от ИИ и ключевыми метриками.
Бенчмарк и инструмент оценки, который проверяет, могут ли языковые модели решать реальные задачи GitHub, создавая патчи, проверяемые в Docker.
Набор готовых к production инженерных workflow в формате Markdown, которые помогают AI-агентам проходить этапы от спецификации и планирования до тестирования, ревью и релиза.