Repolode
Предложить
confident-ai

confident-ai/deepteam

Открытый Python-фреймворк для red teaming систем на базе LLM и AI-агентов: имитирует атаки, выявляет уязвимости и предоставляет защитные механизмы для production.

Открыть на GitHubСайт
Звёзды
3,035
Форки
497
Открытые issues
80
Последний коммит
позавчера

Что это?

DeepTeam — фреймворк для red teaming приложений на базе LLM, который часто описывают как пентест языковых моделей. Он имитирует атаки — например, попытки джейлбрейка, prompt injection и многошаговую эксплуатацию — чтобы выявлять такие проблемы, как предвзятость, утечки PII и SQL-инъекции в AI-агентах, RAG-пайплайнах и чат-ботах.

В состав фреймворка входят более 50 типов уязвимостей, сгруппированных по категориям конфиденциальности данных, ответственного ИИ, безопасности, защищённости, бизнеса и агентных систем, а также более 20 методов атак в один или несколько ходов. Каждая уязвимость оценивается метриками LLM-as-a-Judge, которые возвращают бинарный результат: пройдено или не пройдено. Кроме того, тесты сопоставляются с такими фреймворками, как OWASP Top 10 for LLMs, NIST AI RMF и MITRE ATLAS.

Помимо тестирования, DeepTeam предлагает семь защитных механизмов для классификации входных и выходных данных LLM в реальном времени, например для обнаружения prompt injection, токсичности и проблем с конфиденциальностью. Фреймворк работает локально, построен на DeepEval и запускается из Python или через CLI с настройкой в YAML.

Ключевые возможности

  • 01Имитирует джейлбрейк, prompt injection и многошаговые атаки на системы на базе LLM
  • 02Включает более 50 типов уязвимостей, связанных с конфиденциальностью, безопасностью и рисками агентных систем
  • 03Сопоставляет запуски red teaming с фреймворками OWASP, NIST и MITRE в области безопасности ИИ
  • 04Предоставляет 7 защитных механизмов для проверки входных и выходных данных в реальном времени
  • 05Поддерживает пользовательские типы уязвимостей и запускается из Python или CLI с конфигурацией в YAML

Сценарии использования

  • Проверка чат-бота службы поддержки на prompt injection и токсичные ответы перед запуском
  • Аудит RAG-пайплайна на утечки PII и предвзятость
  • Проверка использования инструментов AI-агентом на чрезмерную автономность или ошибки авторизации
  • Добавление защитных механизмов, работающих во время выполнения, в production-приложение на базе LLM

Что важно знать

  • Для оценки уязвимостей используется LLM-as-a-Judge, поэтому для запуска тестов нужен доступ к LLM.

Темы

#llm-security#red-teaming#ai-safety#prompt-injection#guardrails#llm-evaluation#jailbreak#llm-guardrails#llm-red-teaming#llm-safety

Частые вопросы

Что такое deepteam?
Открытый Python-фреймворк для red teaming систем на базе LLM и AI-агентов: имитирует атаки, выявляет уязвимости и предоставляет защитные механизмы для production. DeepTeam — фреймворк для red teaming приложений на базе LLM, который часто описывают как пентест языковых моделей. Он имитирует атаки — например, попытки джейлбрейка, prompt injection и многошаговую эксплуатацию — чтобы выявлять такие проблемы, как предвзятость, утечки PII и SQL-инъекции в AI-агентах, RAG-пайплайнах и чат-ботах.
deepteam можно использовать бесплатно? Какая у него лицензия?
deepteam распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
deepteam всё ещё поддерживается?
Активно поддерживается. Последний коммит в deepteam — 20 окт. 2026 г..
Для чего можно использовать deepteam?
Проверка чат-бота службы поддержки на prompt injection и токсичные ответы перед запуском Аудит RAG-пайплайна на утечки PII и предвзятость Проверка использования инструментов AI-агентом на чрезмерную автономность или ошибки авторизации Добавление защитных механизмов, работающих во время выполнения, в production-приложение на базе LLM
Где скачать deepteam?
Исходный код и инструкции по установке — на GitHub: https://github.com/confident-ai/deepteam

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

guardana / guardana

CLI и библиотека с открытым исходным кодом для проверки файлов моделей ИИ, кода, работающих конечных точек LLM/агентов/MCP и записанных трасс агентов с отчетом о проблемах и пробелах в проверках.

Безопасность#ai-security#llm-security#red-teaming
24813PythonApache-2.0Обновлён вчера