promptfoo/promptfoo

Что это?

Ключевые возможности

• 01Декларативные YAML-конфиги для промптов, моделей и тестовых сценариев
• 02Сравнение результатов работы множества провайдеров LLM бок о бок
• 03Red teaming и сканирование на уязвимости с формированием отчётов
• 04Интерфейсы командной строки и библиотеки Node.js
• 05Интеграция с CI/CD для автоматических проверок pull request
• 06Локальный веб-интерфейс для просмотра результатов оценки

Сценарии использования

• Проверка того, не ухудшает ли изменение промпта ответы перед релизом
• Сравнение GPT, Claude и других моделей на одном наборе тестов
• Поиск prompt injection и других уязвимостей в агенте или RAG-приложении
• Запуск регрессионных тестов LLM в CI-пайплайне

Быстрый старт

1. 1

   Установите CLI глобально с помощью npm

   npm install -g promptfoo
2. 2

   Создайте пример проекта getting-started

   promptfoo init --example getting-started
3. 3

   Задайте API-ключ своего провайдера LLM в качестве переменной окружения

   export OPENAI_API_KEY=sk-abc123
4. 4

   Запустите eval и откройте просмотрщик результатов

   cd getting-started && promptfoo eval && promptfoo view

Что важно знать

• !Большинству провайдеров LLM требуется API-ключ, поэтому вам понадобится доступ к платной или размещённой модели.

Темы

Частые вопросы

Что такое promptfoo?

CLI и библиотека для оценки промптов и red teaming LLM-приложений с помощью декларативных конфигов и интеграции с CI/CD. Promptfoo — это инструмент командной строки и библиотека Node.js для тестирования приложений на основе LLM. В декларативном конфиге вы описываете промпты, модели и тестовые сценарии, а затем запускаете оценку, чтобы сравнить результаты работы разных провайдеров, например OpenAI, Anthropic, Azure, Bedrock и Ollama. Результаты можно посмотреть в локальном веб-интерфейсе и поделиться ими с командой.

promptfoo можно использовать бесплатно? Какая у него лицензия?

promptfoo распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

promptfoo всё ещё поддерживается?

Активно поддерживается. Последний коммит в promptfoo — 20 окт. 2026 г..

Для чего можно использовать promptfoo?

Проверка того, не ухудшает ли изменение промпта ответы перед релизом Сравнение GPT, Claude и других моделей на одном наборе тестов Поиск prompt injection и других уязвимостей в агенте или RAG-приложении Запуск регрессионных тестов LLM в CI-пайплайне

Как установить promptfoo?

Установите CLI глобально с помощью npm: npm install -g promptfoo Создайте пример проекта getting-started: promptfoo init --example getting-started Задайте API-ключ своего провайдера LLM в качестве переменной окружения: export OPENAI_API_KEY=sk-abc123 Запустите eval и откройте просмотрщик результатов: cd getting-started && promptfoo eval && promptfoo view

Где скачать promptfoo?

Исходный код и инструкции по установке — на GitHub: https://github.com/promptfoo/promptfoo