开源的 LLM 可观测与评估平台,用于 AI 智能体追踪、LLM 输出评估、提示词管理和生产监控。
microsoft/promptflow
用于构建、测试、评估和部署 LLM 应用的开发工具套件,含 VS Code 流程设计器和 pf 命令行工具。
- Star
- 11,254
- Fork
- 1,127
- 未关闭 Issue
- 69
- 最近提交
- 前天
这是什么?
Prompt flow 覆盖 LLM 应用从原型构建、测试、评估到生产部署与监控的完整开发流程。开发者可以把 LLM、提示词、Python 代码和其他工具串联成可执行的流程,并通过对 LLM 调用的追踪进行调试。
流程可以在更大的数据集上批量运行,用于衡量质量和性能,测试与评估环节也可以接入 CI/CD 流水线。流程既可以部署到所选的服务平台,也可以直接嵌入应用代码库。
项目提供 pf 命令行工具、带可视化流程设计器的 VS Code 扩展,以及 Azure AI 中可选的云端版本。需要注意,微软已宣布 Microsoft Foundry 和 Azure Machine Learning 中的 Prompt flow 将于 2027 年 4 月 20 日退役,不再推荐用于新项目开发。
核心功能
- 01将 LLM、提示词、Python 代码和工具组合成可执行的流程。
- 02追踪并调试流程中的 LLM 调用。
- 03在大规模数据集上运行流程,评估质量和性能。
- 04将测试与评估接入 CI/CD 流水线。
- 05提供 pf 命令行工具和带可视化设计器的 VS Code 扩展。
适用场景
- 原型开发聊天机器人或基于检索的问答应用,并反复调整提示词。
- 在上线前用数据集批量测试提示词改动。
- 在团队的 CI 流水线中加入自动化的 LLM 质量检查。
快速上手
- 1
使用 pip 安装软件包
pip install promptflow promptflow-tools - 2
从聊天模板创建聊天机器人流程
pf flow init --flow ./my_chatbot --type chat - 3
为你的 OpenAI API 密钥设置连接
pf connection create --file ./my_chatbot/openai.yaml --set api_key=<your_api_key> --name open_ai_connection - 4
与你的流程进行交互式聊天
pf flow test --flow ./my_chatbot --interactive
使用前须知
- README 警告 Prompt flow 将于 2027 年 4 月 20 日退役,已不再推荐用于新开发。
- Prompt flow 容器镜像不再接收安全或软件包更新。
- 运行聊天机器人快速入门需要 OpenAI 或 Azure OpenAI 的 API 密钥。
标签
常见问题
- promptflow 是什么?
- 用于构建、测试、评估和部署 LLM 应用的开发工具套件,含 VS Code 流程设计器和 pf 命令行工具。 Prompt flow 覆盖 LLM 应用从原型构建、测试、评估到生产部署与监控的完整开发流程。开发者可以把 LLM、提示词、Python 代码和其他工具串联成可执行的流程,并通过对 LLM 调用的追踪进行调试。
- promptflow 可以免费使用吗?用的什么许可证?
- promptflow 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- promptflow 还在维护吗?
- 活跃维护中。promptflow 最近一次提交是在 2026年10月20日。
- promptflow 适合用来做什么?
- 原型开发聊天机器人或基于检索的问答应用,并反复调整提示词。 在上线前用数据集批量测试提示词改动。 在团队的 CI 流水线中加入自动化的 LLM 质量检查。
- promptflow 怎么安装和运行?
- 使用 pip 安装软件包: pip install promptflow promptflow-tools 从聊天模板创建聊天机器人流程: pf flow init --flow ./my_chatbot --type chat 为你的 OpenAI API 密钥设置连接: pf connection create --file ./my_chatbot/openai.yaml --set api_key=<your_api_key> --name open_ai_connection 与你的流程进行交互式聊天: pf flow test --flow ./my_chatbot --interactive
- 在哪里获取 promptflow?
- 源代码和安装说明在 GitHub 上:https://github.com/microsoft/promptflow
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
基于 Python 的 LLM 应用框架,通过多个协作的 Agent、工具和检索增强生成来构建应用。
开源的 AI 平台,用于追踪、测试、路由和管理公司内的 LLM 调用、智能体与编程助手。
一个开源的社区提示词库,可在网站浏览,并提供 CSV、Hugging Face 数据集、CLI 与 MCP 服务器接入。
一个基于 Python 的小型框架,让大模型通过 LiteLLM 接入的多家服务商玩 Bulls and Cows 猜数游戏,以此评测其推理与上下文记忆能力。
Jan 是一款开源桌面应用,可在本地下载并运行大模型,提供类似 ChatGPT 的对话界面。