エージェント、LLMアプリ、MLモデルのデバッグ、評価、監視、最適化を支援するオープンソースのAIエンジニアリングプラットフォーム。
microsoft/genaiops-promptflow-template
Azure AI Studio または Azure Machine Learning 上で Prompt Flow を使って構築した LLM アプリを運用するためのテンプレートとガイド。実験、評価、デプロイをカバーします。
- スター
- 369
- フォーク
- 277
- 未解決の Issue
- 42
- 最終コミット
- 2 か月前
これは何?
Prompt Flow を使って LLM アプリを構築するチーム向けの LLMOps テンプレートです。実験と評価を行う内側のループから、デプロイと推論を行う外側のループまでを対象とし、フローはローカルでも Azure 上でも実行できます。
Python の関数フロー、クラスフロー、YAML DAG フローに対応し、promptflow-evals パッケージを使った純粋な Python による評価方法も含まれています。1つのリポジトリに複数のフローとデータセットを配置でき、バリアントやハイパーパラメーターの実験、CSV および HTML 形式の比較レポート作成、AzureML のマネージドコンピューティング上での A/B デプロイが可能です。
CI/CD のオーケストレーションには GitHub Actions、Azure DevOps、Jenkins を利用できます。デプロイ先は Kubernetes、Azure Web Apps、AzureML のマネージドコンピューティングに対応しています。また、独立した DataOps フォルダーには、データセットを Azure ML データアセットとして登録するデータパイプラインが含まれています。
主な機能
- 011つのリポジトリに複数の Prompt Flow フローを配置し、フローごとにライフサイクルを管理できます。
- 02バリアントやハイパーパラメーターの実験を実行し、CSV および HTML 形式のレポートを生成できます。
- 03AzureML のマネージドコンピューティング上での A/B デプロイに対応しています。
- 04GitHub Actions、Azure DevOps、Jenkins のパイプラインと連携できます。
- 05Kubernetes、Azure Web Apps、AzureML のマネージドコンピューティングにフローをデプロイできます。
ユースケース
- 共通の評価データセットを使って、プロンプトのバリアントやモデルのハイパーパラメーターを比較する。
- LLM アプリをローカルでの実験から Azure 上のマネージドエンドポイントへ移行する。
- Prompt Flow のテストとデプロイを自動化する CI/CD ゲートを構築する。
- 分類、RAG チャット、コード生成など、複数の LLM のユースケースを1つのリポジトリで管理する。
クイックスタート
- 1
GitHubからリポジトリをクローンします
git clone https://github.com/microsoft/llmops-promptflow-template.git - 2
ルートに.envファイルを作成し、aoaiという名前のAzureOpenAI接続など、接続情報を追加します
使う前に知っておきたいこと
- サンプルのフローではAzureOpenAI接続が必要なため、Azure OpenAIのAPIキーとエンドポイントが必要です。
- READMEに記載されたローカル環境のセットアップでプロバイダーとして扱われているのはAzureOpenAIのみで、Azure AI StudioとAzure Machine Learningに重点が置かれています。
- ライセンスが明確に記載されていません(NOASSERTION)。再利用する前にライセンス条件を確認してください。
収録されている特集
トピック
よくある質問
- genaiops-promptflow-template とは?
- Azure AI Studio または Azure Machine Learning 上で Prompt Flow を使って構築した LLM アプリを運用するためのテンプレートとガイド。実験、評価、デプロイをカバーします。 Prompt Flow を使って LLM アプリを構築するチーム向けの LLMOps テンプレートです。実験と評価を行う内側のループから、デプロイと推論を行う外側のループまでを対象とし、フローはローカルでも Azure 上でも実行できます。
- genaiops-promptflow-template は無料で使えますか?ライセンスは?
- genaiops-promptflow-template は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- genaiops-promptflow-template は今もメンテナンスされていますか?
- 半年以内に更新あり。genaiops-promptflow-template の最終コミットは 2026年9月15日 です。
- genaiops-promptflow-template は何に使えますか?
- 共通の評価データセットを使って、プロンプトのバリアントやモデルのハイパーパラメーターを比較する。 LLM アプリをローカルでの実験から Azure 上のマネージドエンドポイントへ移行する。 Prompt Flow のテストとデプロイを自動化する CI/CD ゲートを構築する。 分類、RAG チャット、コード生成など、複数の LLM のユースケースを1つのリポジトリで管理する。
- genaiops-promptflow-template のインストール方法は?
- GitHubからリポジトリをクローンします: git clone https://github.com/microsoft/llmops-promptflow-template.git ルートに.envファイルを作成し、aoaiという名前のAzureOpenAI接続など、接続情報を追加します
- genaiops-promptflow-template はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/microsoft/genaiops-promptflow-template
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
複数のLLMに同時に問い合わせ、回答を採点して比較できる、ビジュアルなノードベースの環境。
Northeastern UniversityのMLOps・LLMOpsコース向けに、MLのデプロイと監視を扱う演習、教材、課題を収録。
Blob、Queue、Table、Functions、Cosmos DBなど、Azure互換サービスをlocalhost:4577で実行できる無料のオープンソースAzureエミュレーター。
100種類以上の組み込みメトリクスとドリフト検出を備えた、ML・LLMシステムの評価、テスト、監視を行うオープンソースのPythonフレームワーク。
プロンプト管理、LLM呼び出しの可観測性、キャッシュ、プロンプト変更の配信を一元化する、オープンソースのクラウドネイティブなLLMOpsプラットフォーム。