AWS, Amazon SageMaker AI MLflow Apps에 MLflow v3.10 지원… mlflow.genai.evaluation() API·관련성·충실성·정확성·안전성 빌트인 지표, 다중 턴 워크플로 트레이싱·사전 구축 성능 대시보드 추가

AWS가 Amazon SageMaker AI MLflow Apps에서 MLflow 버전 3.10을 지원한다고 발표했다. 이번 업데이트는 데이터 사이언티스트와 ML 엔지니어가 실험에서 프로덕션까지 AI 이니셔티브를 가속할 수 있도록 관측성·평가·생성형 AI 개발 측면의 새 기능을 추가했다.

MLflow 3.10은 MLflow 3.0에서 확립된 트레이싱·관측성을 확장하면서 생성형 AI 애플리케이션 개발과 에이전틱 워크플로에 초점을 맞춘 개선이 이루어졌다. 생성형 AI 영역에서는 복잡한 다중 턴 워크플로 트레이싱이 향상됐고, 인기 있는 LLM 프레임워크·라이브러리와의 통합이 보다 긴밀해졌으며, 생성형 AI 상호작용 및 호출 로깅이 간소화됐다.

평가 기능은 mlflow.genai.evaluation() API로 강화됐다. 개발에서 프로덕션 단계까지 생성형 AI 품질을 체계적으로 측정·유지할 수 있는 프로그래매틱 인터페이스를 제공하며, 관련성(relevance)·충실성(faithfulness)·정확성(correctness)·안전성(safety) 등 빌트인 지표가 포함된다. 이들 지표는 SageMaker AI 워크플로와 그대로 통합된다.

관측성 측면에서는 보다 세밀한 트레이스 필터링과 검색, 디버깅·근본 원인 분석을 위한 풍부한 메타데이터 캡처가 추가됐다. 사전 구축된 성능 대시보드는 별도의 차트 구성 없이 지연 시간 분포·요청 수·품질 점수·토큰 사용량 같은 워크로드 단위 지표를 한눈에 보여줘 프로덕션 워크로드 운영 비용을 명확히 가시화한다.

또한 MLflow 워크스페이스 기능을 통해 팀과 프로젝트 단위로 MLflow 아티팩트를 구조적으로 정리할 수 있다. AWS는 이러한 개선이 SageMaker AI와 결합되며 엔터프라이즈급 생성형 AI 인프라를 제공해, 실험 추적·생성형 AI 성능 모니터링·거버넌스 유지가 대규모로도 단순해진다고 설명했다.

SageMaker AI MLflow App은 SageMaker Studio 콘솔, AWS CLI 또는 API를 통해 생성할 수 있으며, 기본 설정이 자동으로 MLflow 3.10을 프로비저닝해 신규 사용자도 즉시 모든 신기능에 접근할 수 있다. 사용을 위해서는 결제가 활성화된 AWS 계정과 Amazon SageMaker Studio AI 도메인이 필요하다.

SageMaker Studio 콘솔에서 MLflow 애플리케이션을 선택하고 'Create MLflow App'으로 이름을 입력하면 SageMaker AI Studio 도메인 기본값에 의해 IAM 역할과 Amazon S3 버킷이 자동 구성된다. 생성 후 발급되는 MLflow Amazon Resource Name(ARN)으로 연결하면 기존 코드와 즉시 사용할 수 있다.

실험 추적을 위해서는 사용 환경(SageMaker Studio 관리형 JupyterLab, SageMaker Studio Code Editor, 로컬 IDE 등)에 'pip install mlflow==3.10.1 sagemaker-mlflow==0.3.0' 명령으로 두 패키지를 설치하면 된다. 기존 MLflow 트래킹 서버나 앱을 사용하던 사용자는 'Migrate MLflow tracking servers to Amazon SageMaker AI with serverless MLflow' 가이드를 따라 새 3.10 앱으로 마이그레이션할 수 있다. MLflow v3.10은 Amazon SageMaker AI 서버리스 모델 커스터마이제이션과 SageMaker Unified Studio에서도 지원된다.