Open source-платформа для разработки ИИ: отладки, оценки, мониторинга и оптимизации агентов, LLM-приложений и ML-моделей.
microsoft/genaiops-promptflow-template
Шаблон и рекомендации по эксплуатации приложений на базе LLM с Prompt Flow в Azure AI Studio или Azure Machine Learning: от экспериментов и оценки до развертывания.
- Звёзды
- 369
- Форки
- 277
- Открытые issues
- 42
- Последний коммит
- 2 месяца назад
Что это?
Этот проект — шаблон LLMOps для команд, разрабатывающих приложения на базе LLM с помощью Prompt Flow. Он охватывает внутренний цикл экспериментов и оценки, а также внешний цикл развертывания и инференса; потоки можно запускать локально или в Azure.
Шаблон поддерживает потоки на основе Python-функций, классов и YAML DAG, а также оценку на чистом Python через пакет promptflow-evals. В одном репозитории могут храниться несколько потоков и наборов данных; доступны эксперименты с вариантами и гиперпараметрами, сравнительные отчеты в CSV и HTML и A/B-развертывание на управляемых вычислительных ресурсах AzureML.
Оркестрация CI/CD доступна через GitHub Actions, Azure DevOps и Jenkins. Потоки можно развертывать в Kubernetes, Azure Web Apps и на управляемых вычислительных ресурсах AzureML. В отдельной папке DataOps хранятся конвейеры данных, регистрирующие наборы данных как ресурсы данных Azure ML.
Ключевые возможности
- 01Хранит несколько потоков Prompt Flow в одном репозитории с отдельным жизненным циклом для каждого потока.
- 02Запускает эксперименты с вариантами и гиперпараметрами и создает отчеты в CSV и HTML.
- 03Поддерживает A/B-развертывание на управляемых вычислительных ресурсах AzureML.
- 04Интегрируется с конвейерами GitHub Actions, Azure DevOps и Jenkins.
- 05Развертывает потоки в Kubernetes, Azure Web Apps и на управляемых вычислительных ресурсах AzureML.
Сценарии использования
- Сравнение вариантов промптов и гиперпараметров модели на общем наборе данных для оценки.
- Перенос приложения на базе LLM от локальных экспериментов к управляемой конечной точке в Azure.
- Настройка этапов CI/CD для автоматического тестирования и развертывания потоков Prompt Flow.
- Управление несколькими сценариями использования LLM, например классификацией, RAG-чатом и генерацией кода, в одном репозитории.
Быстрый старт
- 1
Клонируйте репозиторий с GitHub
git clone https://github.com/microsoft/llmops-promptflow-template.git - 2
Создайте файл .env в корне репозитория и добавьте данные для подключения, например подключение AzureOpenAI с именем aoai
Что важно знать
- Для потоков в примерах требуется подключение AzureOpenAI, поэтому вам понадобятся ключ API и endpoint Azure OpenAI.
- В локальной настройке из README в качестве провайдера рассматривается только AzureOpenAI; она ориентирована на Azure AI Studio и Azure Machine Learning.
- Лицензия явно не указана (NOASSERTION), поэтому перед повторным использованием проверьте её условия.
В подборках
Темы
Частые вопросы
- Что такое genaiops-promptflow-template?
- Шаблон и рекомендации по эксплуатации приложений на базе LLM с Prompt Flow в Azure AI Studio или Azure Machine Learning: от экспериментов и оценки до развертывания. Этот проект — шаблон LLMOps для команд, разрабатывающих приложения на базе LLM с помощью Prompt Flow. Он охватывает внутренний цикл экспериментов и оценки, а также внешний цикл развертывания и инференса; потоки можно запускать локально или в Azure.
- genaiops-promptflow-template можно использовать бесплатно? Какая у него лицензия?
- genaiops-promptflow-template распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- genaiops-promptflow-template всё ещё поддерживается?
- Обновлялся за последние 6 месяцев. Последний коммит в genaiops-promptflow-template — 15 сент. 2026 г..
- Для чего можно использовать genaiops-promptflow-template?
- Сравнение вариантов промптов и гиперпараметров модели на общем наборе данных для оценки. Перенос приложения на базе LLM от локальных экспериментов к управляемой конечной точке в Azure. Настройка этапов CI/CD для автоматического тестирования и развертывания потоков Prompt Flow. Управление несколькими сценариями использования LLM, например классификацией, RAG-чатом и генерацией кода, в одном репозитории.
- Как установить genaiops-promptflow-template?
- Клонируйте репозиторий с GitHub: git clone https://github.com/microsoft/llmops-promptflow-template.git Создайте файл .env в корне репозитория и добавьте данные для подключения, например подключение AzureOpenAI с именем aoai
- Где скачать genaiops-promptflow-template?
- Исходный код и инструкции по установке — на GitHub: https://github.com/microsoft/genaiops-promptflow-template
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Визуальная среда на основе узлов для сравнения промптов и моделей: она одновременно отправляет запросы нескольким LLM и оценивает ответы.
Лабораторные работы, материалы для чтения и задания курса по MLOps и LLMOps в Northeastern University: развёртывание и мониторинг ML-моделей.
Бесплатный эмулятор Azure с открытым исходным кодом: локально запускает совместимые с Azure сервисы, включая Blob, Queue, Table, Functions и Cosmos DB, на localhost:4577.
Открытый Python-фреймворк для оценки, тестирования и мониторинга ML- и LLM-систем: более 100 встроенных метрик и обнаружение дрейфа.
Открытая cloud-native платформа LLMOps для управления промптами, наблюдения за вызовами LLM, кеширования и доставки изменений промптов.