Repolode
microsoft

microsoft/genaiops-promptflow-template

基于 Prompt Flow 的 LLMOps 模板,覆盖 LLM 应用的实验、评估与部署,支持 Azure AI Studio 与 Azure Machine Learning。

Star
369
Fork
277
未关闭 Issue
42
最近提交
2个月前

这是什么?

这是一个面向 LLM 应用开发团队的 LLMOps 模板,基于 Prompt Flow 构建。它覆盖内循环的实验与评估,以及外循环的部署与推理,既可以本地运行,也可以在 Azure 上执行。

模板支持 Python 函数式流程、类流程以及 YAML 定义的 DAG 流程,并提供基于 promptflow-evals 的纯 Python 评估方式。同一仓库可以管理多个流程和数据集,支持变体与超参数实验,生成 CSV 和 HTML 格式的对比报告,并可在 AzureML 托管计算上进行 A/B 部署。

项目提供 GitHub Actions、Azure DevOps 和 Jenkins 的 CI/CD 编排配置。部署目标包括 Kubernetes、Azure Web Apps 和 AzureML 托管计算。另有独立的 DataOps 目录,用于构建数据管道并将数据集注册为 Azure ML 数据资产。

核心功能

  • 01在单一仓库中托管多个 Prompt Flow 流程,每个流程拥有独立的生命周期。
  • 02运行变体与超参数实验,并生成 CSV 与 HTML 格式的报告。
  • 03支持在 AzureML 托管计算上进行 A/B 部署。
  • 04集成 GitHub Actions、Azure DevOps 和 Jenkins 流水线。
  • 05可将流程部署到 Kubernetes、Azure Web Apps 和 AzureML 托管计算。

适用场景

  • 在同一评估数据集上比较不同提示词变体和模型超参数。
  • 将 LLM 应用从本地实验迁移到 Azure 上的托管端点。
  • 搭建自动测试并部署提示流程的 CI/CD 流水线。
  • 在同一仓库中管理分类、RAG 问答、代码生成等多个 LLM 用例。

快速上手

  1. 1

    从 GitHub 克隆仓库

    git clone https://github.com/microsoft/llmops-promptflow-template.git
  2. 2

    在顶层目录创建 .env 文件,并填写连接信息,例如名为 aoai 的 AzureOpenAI 连接

使用前须知

  • 示例流程需要 AzureOpenAI 连接,因此您需要 Azure OpenAI 的 API 密钥和终结点。
  • README 中的本地设置仅支持 AzureOpenAI 作为提供方,且主要面向 Azure AI Studio 和 Azure Machine Learning。
  • 许可证未明确说明(NOASSERTION),复用前请先核实许可条款。

收录于专题

标签

常见问题

genaiops-promptflow-template 是什么?
基于 Prompt Flow 的 LLMOps 模板,覆盖 LLM 应用的实验、评估与部署,支持 Azure AI Studio 与 Azure Machine Learning。 这是一个面向 LLM 应用开发团队的 LLMOps 模板,基于 Prompt Flow 构建。它覆盖内循环的实验与评估,以及外循环的部署与推理,既可以本地运行,也可以在 Azure 上执行。
genaiops-promptflow-template 可以免费使用吗?用的什么许可证?
genaiops-promptflow-template 以 Other 许可证开源。用于商业产品前,请先确认许可证条款。
genaiops-promptflow-template 还在维护吗?
半年内有更新。genaiops-promptflow-template 最近一次提交是在 2026年9月15日。
genaiops-promptflow-template 适合用来做什么?
在同一评估数据集上比较不同提示词变体和模型超参数。 将 LLM 应用从本地实验迁移到 Azure 上的托管端点。 搭建自动测试并部署提示流程的 CI/CD 流水线。 在同一仓库中管理分类、RAG 问答、代码生成等多个 LLM 用例。
genaiops-promptflow-template 怎么安装和运行?
从 GitHub 克隆仓库: git clone https://github.com/microsoft/llmops-promptflow-template.git 在顶层目录创建 .env 文件,并填写连接信息,例如名为 aoai 的 AzureOpenAI 连接
在哪里获取 genaiops-promptflow-template?
源代码和安装说明在 GitHub 上:https://github.com/microsoft/genaiops-promptflow-template

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目