开源 AI 工程平台,用于调试、评估、监控和优化智能体、LLM 应用与机器学习模型。
microsoft/genaiops-promptflow-template
基于 Prompt Flow 的 LLMOps 模板,覆盖 LLM 应用的实验、评估与部署,支持 Azure AI Studio 与 Azure Machine Learning。
- Star
- 369
- Fork
- 277
- 未关闭 Issue
- 42
- 最近提交
- 2个月前
这是什么?
这是一个面向 LLM 应用开发团队的 LLMOps 模板,基于 Prompt Flow 构建。它覆盖内循环的实验与评估,以及外循环的部署与推理,既可以本地运行,也可以在 Azure 上执行。
模板支持 Python 函数式流程、类流程以及 YAML 定义的 DAG 流程,并提供基于 promptflow-evals 的纯 Python 评估方式。同一仓库可以管理多个流程和数据集,支持变体与超参数实验,生成 CSV 和 HTML 格式的对比报告,并可在 AzureML 托管计算上进行 A/B 部署。
项目提供 GitHub Actions、Azure DevOps 和 Jenkins 的 CI/CD 编排配置。部署目标包括 Kubernetes、Azure Web Apps 和 AzureML 托管计算。另有独立的 DataOps 目录,用于构建数据管道并将数据集注册为 Azure ML 数据资产。
核心功能
- 01在单一仓库中托管多个 Prompt Flow 流程,每个流程拥有独立的生命周期。
- 02运行变体与超参数实验,并生成 CSV 与 HTML 格式的报告。
- 03支持在 AzureML 托管计算上进行 A/B 部署。
- 04集成 GitHub Actions、Azure DevOps 和 Jenkins 流水线。
- 05可将流程部署到 Kubernetes、Azure Web Apps 和 AzureML 托管计算。
适用场景
- 在同一评估数据集上比较不同提示词变体和模型超参数。
- 将 LLM 应用从本地实验迁移到 Azure 上的托管端点。
- 搭建自动测试并部署提示流程的 CI/CD 流水线。
- 在同一仓库中管理分类、RAG 问答、代码生成等多个 LLM 用例。
快速上手
- 1
从 GitHub 克隆仓库
git clone https://github.com/microsoft/llmops-promptflow-template.git - 2
在顶层目录创建 .env 文件,并填写连接信息,例如名为 aoai 的 AzureOpenAI 连接
使用前须知
- 示例流程需要 AzureOpenAI 连接,因此您需要 Azure OpenAI 的 API 密钥和终结点。
- README 中的本地设置仅支持 AzureOpenAI 作为提供方,且主要面向 Azure AI Studio 和 Azure Machine Learning。
- 许可证未明确说明(NOASSERTION),复用前请先核实许可条款。
收录于专题
标签
常见问题
- genaiops-promptflow-template 是什么?
- 基于 Prompt Flow 的 LLMOps 模板,覆盖 LLM 应用的实验、评估与部署,支持 Azure AI Studio 与 Azure Machine Learning。 这是一个面向 LLM 应用开发团队的 LLMOps 模板,基于 Prompt Flow 构建。它覆盖内循环的实验与评估,以及外循环的部署与推理,既可以本地运行,也可以在 Azure 上执行。
- genaiops-promptflow-template 可以免费使用吗?用的什么许可证?
- genaiops-promptflow-template 以 Other 许可证开源。用于商业产品前,请先确认许可证条款。
- genaiops-promptflow-template 还在维护吗?
- 半年内有更新。genaiops-promptflow-template 最近一次提交是在 2026年9月15日。
- genaiops-promptflow-template 适合用来做什么?
- 在同一评估数据集上比较不同提示词变体和模型超参数。 将 LLM 应用从本地实验迁移到 Azure 上的托管端点。 搭建自动测试并部署提示流程的 CI/CD 流水线。 在同一仓库中管理分类、RAG 问答、代码生成等多个 LLM 用例。
- genaiops-promptflow-template 怎么安装和运行?
- 从 GitHub 克隆仓库: git clone https://github.com/microsoft/llmops-promptflow-template.git 在顶层目录创建 .env 文件,并填写连接信息,例如名为 aoai 的 AzureOpenAI 连接
- 在哪里获取 genaiops-promptflow-template?
- 源代码和安装说明在 GitHub 上:https://github.com/microsoft/genaiops-promptflow-template
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
一个可视化节点式环境,用于同时查询多个大模型,对比提示词与模型的回答质量。
东北大学 MLOps 课程的实验、阅读材料与练习,涵盖机器学习部署与监控。
开源免费的本地 Azure 模拟器,在 localhost:4577 提供 Blob、Queue、Table、Functions、Cosmos DB 等兼容服务。
开源 Python 框架,用于评估、测试和监控机器学习与 LLM 系统,内置 100 多种指标。
开源、云原生的 LLMOps 平台,用于管理提示词、监控 AI 调用、缓存并发布变更。