Опенсорсный CLI-сканер, который проверяет LLM на уязвимости: prompt injection, утечки данных, jailbreak и токсичные ответы.
ifixai-ai/iFixAi
Python CLI для аудита AI-агентов по 61 проверке: он выявляет, выходят ли агенты за рамки своей роли, поддаются ли манипуляциям и выдумывают ли факты.
- Звёзды
- 43,588
- Форки
- 1,785
- Открытые issues
- 3
- Последний коммит
- 20 часов назад
Что это?
iFixAi — независимый инструмент для аудита AI-агентов. На основе профиля и файла с политиками он создаёт симуляцию бизнес-среды, отправляет агенту типичные запросы из повседневной работы, в том числе те, что проверяют, не выходит ли агент за рамки своей роли, а затем поручает отдельной модели-судье оценить каждый ответ. Для каждой найденной проблемы фиксируются запрос и ответ агента.
При запуске по умолчанию выполняются 10 проверок, совместимых с обычным chat endpoint. Они охватывают разрешения на использование инструментов, prompt injection, нарушения политик, утечки данных между пользователями, работу с неопределённостью и следование инструкциям. Опция --full-run запускает все 61 проверку, пропуская те, которые неприменимы к агенту. Результаты оцениваются по шкале от A до F по пяти направлениям; для трёх обязательных критериев установлены минимальные пороги: если агент их не проходит, оценка не может быть выше D.
Модель-судья выбирается у провайдера, отличного от провайдера тестируемого агента. Отчёты сохраняются в JSON и Markdown, а порог --min-score позволяет блокировать CI pipeline. Встроенный демонстрационный агент позволяет ознакомиться с процессом без API-ключа.
Ключевые возможности
- 01Быстро выполняет 10 проверок по умолчанию через стандартный chat endpoint.
- 02Предлагает 61 проверку при использовании опции --full-run.
- 03Использует модель-судью от провайдера, отличного от провайдера тестируемого агента.
- 04Оценивает результаты по шкале от A до F с обязательными минимальными порогами, ограничивающими итоговую оценку.
- 05Экспортирует отчёты в JSON и Markdown и позволяет задавать минимальную оценку для CI.
Сценарии использования
- Проверка того, соблюдает ли агент поддержки клиентов правила возврата средств и изменения учётных записей.
- Тестирование агента на устойчивость к prompt injection перед развёртыванием в production.
- Подготовка доказательств аудита для систем управления AI, таких как EU AI Act или NIST AI RMF.
- Добавление в CI pipeline регрессионной проверки поведения агента.
Быстрый старт
- 1
Создайте и активируйте virtualenv
python3 -m venv .venv && source .venv/bin/activate - 2
Установите iFixAi из PyPI
pip install ifixai - 3
Создайте эталонную среду симуляции
ifixai author reference -o reference.yaml - 4
Запустите проверки по умолчанию для встроенного демонстрационного агента (API-ключ не нужен)
ifixai run --provider mock --eval-mode self --fixture reference.yaml
Что важно знать
- Для проведения настоящего аудита потребуется модель-судья от другого провайдера и её API-ключ.
- Требуется Python версии 3.10 или новее.
В подборках
Темы
Частые вопросы
- Что такое iFixAi?
- Python CLI для аудита AI-агентов по 61 проверке: он выявляет, выходят ли агенты за рамки своей роли, поддаются ли манипуляциям и выдумывают ли факты. iFixAi — независимый инструмент для аудита AI-агентов. На основе профиля и файла с политиками он создаёт симуляцию бизнес-среды, отправляет агенту типичные запросы из повседневной работы, в том числе те, что проверяют, не выходит ли агент за рамки своей роли, а затем поручает отдельной модели-судье оценить каждый ответ. Для каждой найденной проблемы фиксируются запрос и ответ агента.
- iFixAi можно использовать бесплатно? Какая у него лицензия?
- iFixAi распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- iFixAi всё ещё поддерживается?
- Активно поддерживается. Последний коммит в iFixAi — 6 нояб. 2026 г..
- Для чего можно использовать iFixAi?
- Проверка того, соблюдает ли агент поддержки клиентов правила возврата средств и изменения учётных записей. Тестирование агента на устойчивость к prompt injection перед развёртыванием в production. Подготовка доказательств аудита для систем управления AI, таких как EU AI Act или NIST AI RMF. Добавление в CI pipeline регрессионной проверки поведения агента.
- Как установить iFixAi?
- Создайте и активируйте virtualenv: python3 -m venv .venv && source .venv/bin/activate Установите iFixAi из PyPI: pip install ifixai Создайте эталонную среду симуляции: ifixai author reference -o reference.yaml Запустите проверки по умолчанию для встроенного демонстрационного агента (API-ключ не нужен): ifixai run --provider mock --eval-mode self --fixture reference.yaml
- Где скачать iFixAi?
- Исходный код и инструкции по установке — на GitHub: https://github.com/ifixai-ai/iFixAi
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Открытый Python-фреймворк для red teaming систем на базе LLM и AI-агентов: имитирует атаки, выявляет уязвимости и предоставляет защитные механизмы для production.
Python-библиотека для оценки вероятности галлюцинаций в ответах LLM с помощью количественной оценки неопределённости и black-box, white-box, judge- и ensemble-оценщиков.
Библиотека Python с открытым исходным кодом для написания eval-тестов, red teaming и поиска уязвимостей в системах на базе LLM и агентных системах.
Python-инструментарий для проверки LLM, guardrails и приложений на базе LLM на устойчивость к prompt injection и jailbreak-атакам.
Самостоятельно разворачиваемая платформа управления ИИ для оценки рисков, соблюдения требований EU AI Act и ISO 42001, а также тестирования LLM.