AWS, Amazon Nova 2 Lite 콘텐츠 모더레이션 프롬프팅 가이드 공개

AWS가 자사 머신러닝 블로그를 통해 Amazon Nova 2 Lite를 콘텐츠 모더레이션에 사용하는 프롬프팅 가이드를 공개했다. 이전 게시물이 Amazon SageMaker AI로 Nova를 모더레이션 작업용으로 파인튜닝하는 방법을 다뤘다면, 이번 가이드는 학습 데이터나 모델 커스터마이징 없이 프롬프트 편집만으로 정책을 갱신하는 접근을 제시한다.

가이드는 Amazon Nova 2 Lite를 매우 저렴한 멀티모달 모델로 소개하며, 빠른 추론 덕에 고처리량 콘텐츠 모더레이션 파이프라인에 적합하다고 설명한다. 정책 기준은 MLCommons AILuminate Assessment Standard v1.1을 채택했고, 사용자가 자체 카테고리 정의를 끼워 넣어도 프롬프트 구조는 그대로 유지된다.

AILuminate 표준은 12개 위험 카테고리로 구성된 분류 체계를 제공하며, 카테고리는 Physical·Non-Physical·Contextual 세 그룹으로 묶인다. 가이드에 예시로 제시된 카테고리는 폭력 범죄(Violent Crimes), 비폭력 범죄(Non-Violent Crimes), 자살·자해(Suicide and Self-Harm), 혐오(Hate), 전문 영역 자문(Specialized Advice), 프라이버시(Privacy) 등 6개이며, 나머지 6개는 표준 문서를 참조하라고 안내한다.

콘텐츠 모더레이션 파이프라인은 네 단계로 동작한다. 사용자 생성 콘텐츠가 시스템에 들어오면, 시스템 역할·정책 정의·선택적 few-shot 예시를 묶어 구조화 또는 자유형식 프롬프트로 조립한다. 조립된 프롬프트는 Amazon Bedrock의 Amazon Nova 2 Lite로 전달되고, 응답을 받아 허용·플래그·삭제·에스컬레이션 결정에 활용한다.

모델 응답은 위반 플래그(yes/no), 위반 카테고리, 그리고 선택적인 설명으로 구성된다. AWS는 권장 추론 설정으로 temperature 0.7과 top-p 0.9(누클러스 샘플링)를 제시한다. 일관성과 다양한 콘텐츠를 다룰 변동성을 균형 잡은 값이라는 설명이며, 완전히 결정적인 출력이 필요할 경우 temperature 0 같은 낮은 값을 시험할 수 있다.

고처리량 파이프라인이라면 reasoning 모드를 끄는 것을 고려하라고 권한다. 추론을 비활성화하면 지연 시간과 비용이 줄지만, 자신의 콘텐츠에서 정확도가 충분한지 두 모드를 모두 테스트해 확인할 것을 권고한다.

프롬프트 형식은 구조화 방식과 자유형식 방식 둘 다 지원한다. 모더레이션 결과를 자동화 시스템에 곧바로 입력해야 한다면 XML이나 JSON 같은 구조화 프롬프트가 적합하다. 가이드의 XML 템플릿은 정책·콘텐츠·출력 필드를 태그로 감싸고, 'POLICY_VIOLATION'·'CATEGORY_LIST'·'EXPLAIN' 같은 명시적 태그 이름으로 응답 형식을 강제하며, 예시 입출력 쌍을 보여 주는 few-shot learning으로 응답 패턴을 학습시킨다.

가이드는 마지막으로 세 개의 공개 데이터셋에서 Amazon Nova 2 Lite의 콘텐츠 모더레이션 성능을 여러 파운데이션 모델과 비교한 벤치마크 결과를 함께 제시한다.