Repolode
ifixai-ai

ifixai-ai/iFixAi

Python CLI для аудита AI-агентов по 61 проверке: он выявляет, выходят ли агенты за рамки своей роли, поддаются ли манипуляциям и выдумывают ли факты.

Звёзды
43,588
Форки
1,785
Открытые issues
3
Последний коммит
20 часов назад

Что это?

iFixAi — независимый инструмент для аудита AI-агентов. На основе профиля и файла с политиками он создаёт симуляцию бизнес-среды, отправляет агенту типичные запросы из повседневной работы, в том числе те, что проверяют, не выходит ли агент за рамки своей роли, а затем поручает отдельной модели-судье оценить каждый ответ. Для каждой найденной проблемы фиксируются запрос и ответ агента.

При запуске по умолчанию выполняются 10 проверок, совместимых с обычным chat endpoint. Они охватывают разрешения на использование инструментов, prompt injection, нарушения политик, утечки данных между пользователями, работу с неопределённостью и следование инструкциям. Опция --full-run запускает все 61 проверку, пропуская те, которые неприменимы к агенту. Результаты оцениваются по шкале от A до F по пяти направлениям; для трёх обязательных критериев установлены минимальные пороги: если агент их не проходит, оценка не может быть выше D.

Модель-судья выбирается у провайдера, отличного от провайдера тестируемого агента. Отчёты сохраняются в JSON и Markdown, а порог --min-score позволяет блокировать CI pipeline. Встроенный демонстрационный агент позволяет ознакомиться с процессом без API-ключа.

Ключевые возможности

  • 01Быстро выполняет 10 проверок по умолчанию через стандартный chat endpoint.
  • 02Предлагает 61 проверку при использовании опции --full-run.
  • 03Использует модель-судью от провайдера, отличного от провайдера тестируемого агента.
  • 04Оценивает результаты по шкале от A до F с обязательными минимальными порогами, ограничивающими итоговую оценку.
  • 05Экспортирует отчёты в JSON и Markdown и позволяет задавать минимальную оценку для CI.

Сценарии использования

  • Проверка того, соблюдает ли агент поддержки клиентов правила возврата средств и изменения учётных записей.
  • Тестирование агента на устойчивость к prompt injection перед развёртыванием в production.
  • Подготовка доказательств аудита для систем управления AI, таких как EU AI Act или NIST AI RMF.
  • Добавление в CI pipeline регрессионной проверки поведения агента.

Быстрый старт

  1. 1

    Создайте и активируйте virtualenv

    python3 -m venv .venv && source .venv/bin/activate
  2. 2

    Установите iFixAi из PyPI

    pip install ifixai
  3. 3

    Создайте эталонную среду симуляции

    ifixai author reference -o reference.yaml
  4. 4

    Запустите проверки по умолчанию для встроенного демонстрационного агента (API-ключ не нужен)

    ifixai run --provider mock --eval-mode self --fixture reference.yaml

Что важно знать

  • Для проведения настоящего аудита потребуется модель-судья от другого провайдера и её API-ключ.
  • Требуется Python версии 3.10 или новее.

В подборках

Темы

Частые вопросы

Что такое iFixAi?
Python CLI для аудита AI-агентов по 61 проверке: он выявляет, выходят ли агенты за рамки своей роли, поддаются ли манипуляциям и выдумывают ли факты. iFixAi — независимый инструмент для аудита AI-агентов. На основе профиля и файла с политиками он создаёт симуляцию бизнес-среды, отправляет агенту типичные запросы из повседневной работы, в том числе те, что проверяют, не выходит ли агент за рамки своей роли, а затем поручает отдельной модели-судье оценить каждый ответ. Для каждой найденной проблемы фиксируются запрос и ответ агента.
iFixAi можно использовать бесплатно? Какая у него лицензия?
iFixAi распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
iFixAi всё ещё поддерживается?
Активно поддерживается. Последний коммит в iFixAi — 6 нояб. 2026 г..
Для чего можно использовать iFixAi?
Проверка того, соблюдает ли агент поддержки клиентов правила возврата средств и изменения учётных записей. Тестирование агента на устойчивость к prompt injection перед развёртыванием в production. Подготовка доказательств аудита для систем управления AI, таких как EU AI Act или NIST AI RMF. Добавление в CI pipeline регрессионной проверки поведения агента.
Как установить iFixAi?
Создайте и активируйте virtualenv: python3 -m venv .venv && source .venv/bin/activate Установите iFixAi из PyPI: pip install ifixai Создайте эталонную среду симуляции: ifixai author reference -o reference.yaml Запустите проверки по умолчанию для встроенного демонстрационного агента (API-ключ не нужен): ifixai run --provider mock --eval-mode self --fixture reference.yaml
Где скачать iFixAi?
Исходный код и инструкции по установке — на GitHub: https://github.com/ifixai-ai/iFixAi

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Python-библиотека для оценки вероятности галлюцинаций в ответах LLM с помощью количественной оценки неопределённости и black-box, white-box, judge- и ensemble-оценщиков.

ИИ и машинное обучение#hallucination-detection#uncertainty-quantification#llm-evaluation
1,2 тыс.+2 за неделю140PythonApache-2.0Активно поддерживаетсяОбновлён 24 дня назад

Библиотека Python с открытым исходным кодом для написания eval-тестов, red teaming и поиска уязвимостей в системах на базе LLM и агентных системах.

5,9 тыс.+8 за неделю561PythonApache-2.0Активно поддерживаетсяОбновлён 5 дней назад