Episode 2 | AI 워크플로 품질 측정, 벤치마킹 및 개선 @MicrosoftReactor
Episode 2 | AI 워크플로 품질 측정, 벤치마킹 및 개선  @MicrosoftReactor
Uploaded November 2026 | Updated November 2026, 6 hours ago
세션 소개
AI 에이전트 구축은 시작에 불과합니다. 프로덕션 환경에서는 품질을 지속적으로 평가하고 비용을 최적화하며, 변경 사항이 실제 성능 개선으로 이어지는지 객관적으로 확인하는 과정이 중요합니다.

이 세션에서는 Microsoft Foundry, Evaluations, Agent Optimizer를 활용해 AI 워크플로의 품질을 측정하고 벤치마킹하며 지속적으로 개선하는 방법을 알아봅니다. Microsoft IQ를 활용한 효과적인 컨텍스트 구성부터 지속적인 평가를 통한 품질 관리까지, 에이전트의 전체 수명 주기에 걸쳐 측정 가능한 지표를 기반으로 개선하는 방법을 살펴봅니다.

주요 학습 내용
1. Microsoft Foundry를 활용해 모델을 비교하고 선택하는 방법
2. 에이전트에 조직의 컨텍스트를 추가하는 방법
3. 에이전트를 위한 지속적인 평가 파이프라인을 구축하는 방법
4. 품질, 속도, 토큰 비용 간의 균형을 분석하는 방법
5. Agent Optimizer를 활용해 에이전트를 개선하는 방법
6. CI/CD 파이프라인에서 에이전트를 관리하는 방법

활용 기준
- Microsoft Foundry
- Microsoft Foundry Extension for Visual Studio Code
- Microsoft Foundry Evaluations 및 Agent Optimizer
- Foundry 연동을 위한 GitHub Actions

추천 대상
- Microsoft Foundry에서 AI 에이전트를 구축하고 평가 및 최적화하는 데 관심 있는 개발자
- GitHub 및 CI/CD 프로세스에 에이전트를 도입하려는 팀

*
0:00 - 세션 소개 및 학습 목표
1:05 - AI 워크플로 품질 관리의 6단계 흐름
1:55 - 구매 조언 에이전트 시나리오 설명
3:01 - AI 모델 선택 및 성능 비교 방법
5:46 - 에이전트 그라운딩(Grounding)과 데이터 연결
9:59 - 에이전트 실행 기록(Trace) 분석 및 디버깅
13:21 - 에이전트 품질 평가 기준 및 지표 설정
15:52 - 구매 사례를 통한 품질 평가 데모
19:35 - Agent Optimizer를 활용한 에이전트 최적화
22:20 - 옵티마이저 실행 결과 및 분석
26:24 - 테스트 데이터 세트 구성 전략(Develop, Holdout, Drift)
27:53 - 배포 전 자동 검사 규칙 및 안전장치
29:26 - CI/CD 파이프라인 연동 배포 검사 데모
34:18 - 워크플로 요약 및 운영 중 피드백 루프
37:21 - 핵심 내용 정리 및 Q&A 안내

[eventID:27625]
Episode 2 | AI 워크플로 품질 측정, 벤치마킹 및 개선Production-Grade Agents: Evaluation, Tracing, Security, and OperationsGitHub Copilot App Hands-On: From Sessions to Pull RequestsAI Genius | Architect the Flow: GitHub Canvas, Token Economics & Extensible WorkspaceWhen One Agent Isnt Enough: Orchestrating Secure Parallel Agent SwarmsLets Learn GitHub Copilot SDK (Java)Control de versiones de soluciones de Power Platform con Azure ReposModel Mondays - Mistral OCR-4 and Building AI Agents in Microsoft FoundryCI/CD integral para Microsoft Fabric: de Git a plataformas de datos en producciónBeyond Vibe Coding: Formal Verification for AI-Generated SoftwareEpisódio 1: Fundamentos de IA – Entendendo o Futuro do TrabalhoLas habilidades humanas que siguen importando en un mundo AI-first
Microsoft Reactor |

Episode 2 | AI 워크플로 품질 측정, 벤치마킹 및 개선

SHARE TO X SHARE TO REDDIT SHARE TO FACEBOOK WALLPAPER