에이전트, LLM 앱, ML 모델의 디버깅·평가·모니터링·최적화를 지원하는 오픈소스 AI 엔지니어링 플랫폼입니다.
microsoft/genaiops-promptflow-template
Azure AI Studio 또는 Azure Machine Learning에서 Prompt Flow로 구축한 LLM 기반 앱의 실험, 평가, 배포 운영을 위한 템플릿과 가이드입니다.
- 스타
- 369
- 포크
- 277
- 열린 이슈
- 42
- 마지막 커밋
- 2개월 전
어떤 프로젝트인가요?
이 프로젝트는 Prompt Flow로 LLM 기반 애플리케이션을 만드는 팀을 위한 LLMOps 템플릿입니다. 실험과 평가를 수행하는 이너 루프, 배포와 추론을 담당하는 아우터 루프를 지원하며, 로컬 또는 Azure에서 플로를 실행할 수 있습니다.
이 템플릿은 Python 함수 플로, 클래스 플로, YAML DAG 플로를 지원하고, promptflow-evals 패키지를 통한 순수 Python 평가 경로도 제공합니다. 하나의 저장소에서 여러 플로와 데이터셋을 관리할 수 있으며, variant 및 하이퍼파라미터 실험, CSV 및 HTML 비교 보고서, AzureML 관리형 컴퓨팅에서의 A/B 배포 기능을 제공합니다.
GitHub Actions, Azure DevOps, Jenkins를 통한 CI/CD 오케스트레이션을 지원합니다. 배포 대상에는 Kubernetes, Azure Web Apps, AzureML 관리형 컴퓨팅이 포함되며, 별도의 DataOps 폴더에서 데이터셋을 Azure ML 데이터 자산으로 등록하는 데이터 파이프라인을 관리합니다.
핵심 기능
- 01하나의 저장소에서 여러 Prompt Flow 플로를 호스팅하고 플로별 수명 주기를 관리합니다.
- 02variant 및 하이퍼파라미터 실험을 실행하고 CSV 및 HTML 보고서를 생성합니다.
- 03AzureML 관리형 컴퓨팅에서 A/B 배포를 지원합니다.
- 04GitHub Actions, Azure DevOps, Jenkins 파이프라인과 연동합니다.
- 05Kubernetes, Azure Web Apps, AzureML 관리형 컴퓨팅에 플로를 배포합니다.
활용 사례
- 공유 평가 데이터셋을 사용해 프롬프트 variant와 모델 하이퍼파라미터를 비교합니다.
- LLM 앱을 로컬 실험 환경에서 Azure의 관리형 엔드포인트로 이전합니다.
- Prompt Flow를 자동으로 테스트하고 배포하는 CI/CD 게이트를 설정합니다.
- 분류, RAG 채팅, 코드 생성 등 여러 LLM 활용 사례를 하나의 저장소에서 관리합니다.
빠른 시작
- 1
GitHub에서 저장소를 클론합니다
git clone https://github.com/microsoft/llmops-promptflow-template.git - 2
저장소 루트에 .env 파일을 만들고 aoai라는 이름의 AzureOpenAI 연결과 같은 연결 정보를 추가합니다
사용 전 알아둘 점
- 예제의 플로우는 AzureOpenAI 연결을 사용하므로 Azure OpenAI API 키와 엔드포인트가 필요합니다.
- README의 로컬 설정 안내는 AzureOpenAI만 공급자로 다루며, Azure AI Studio와 Azure Machine Learning에 중점을 둡니다.
- 라이선스가 명확히 명시되어 있지 않습니다(NOASSERTION). 재사용하기 전에 라이선스 조건을 확인하세요.
포함된 컬렉션
토픽
자주 묻는 질문
- genaiops-promptflow-template은(는) 무엇인가요?
- Azure AI Studio 또는 Azure Machine Learning에서 Prompt Flow로 구축한 LLM 기반 앱의 실험, 평가, 배포 운영을 위한 템플릿과 가이드입니다. 이 프로젝트는 Prompt Flow로 LLM 기반 애플리케이션을 만드는 팀을 위한 LLMOps 템플릿입니다. 실험과 평가를 수행하는 이너 루프, 배포와 추론을 담당하는 아우터 루프를 지원하며, 로컬 또는 Azure에서 플로를 실행할 수 있습니다.
- genaiops-promptflow-template은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- genaiops-promptflow-template은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- genaiops-promptflow-template은(는) 아직 유지보수되고 있나요?
- 6개월 이내 업데이트. genaiops-promptflow-template의 마지막 커밋은 2026년 9월 15일입니다.
- genaiops-promptflow-template은(는) 어디에 사용할 수 있나요?
- 공유 평가 데이터셋을 사용해 프롬프트 variant와 모델 하이퍼파라미터를 비교합니다. LLM 앱을 로컬 실험 환경에서 Azure의 관리형 엔드포인트로 이전합니다. Prompt Flow를 자동으로 테스트하고 배포하는 CI/CD 게이트를 설정합니다. 분류, RAG 채팅, 코드 생성 등 여러 LLM 활용 사례를 하나의 저장소에서 관리합니다.
- genaiops-promptflow-template는 어떻게 설치하나요?
- GitHub에서 저장소를 클론합니다: git clone https://github.com/microsoft/llmops-promptflow-template.git 저장소 루트에 .env 파일을 만들고 aoai라는 이름의 AzureOpenAI 연결과 같은 연결 정보를 추가합니다
- genaiops-promptflow-template은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/microsoft/genaiops-promptflow-template
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
여러 LLM에 동시에 질의하고 응답을 평가해 프롬프트와 모델을 비교하는 시각적 노드 기반 환경입니다.
Northeastern University의 MLOps 및 LLMOps 강의를 위한 실습, 읽기 자료와 연습 문제를 제공하며, ML 배포와 모니터링을 다룹니다.
Blob, Queue, Table, Functions, Cosmos DB 등 Azure 호환 서비스를 localhost:4577에서 실행하는 무료 오픈소스 로컬 Azure 에뮬레이터입니다.
100개 이상의 기본 제공 지표와 드리프트 감지 기능을 갖춘 ML 및 LLM 시스템 평가·테스트·모니터링용 오픈소스 Python 프레임워크입니다.
프롬프트 관리, LLM 호출 관측, 캐싱, 프롬프트 변경 배포를 지원하는 오픈소스 클라우드 네이티브 LLMOps 플랫폼입니다.