페이스북 출신 콘텐츠 모더레이션 전문가, AI 안전 스타트업 Moonbounce 1,200만 달러 투자 유치

애플 출신 브렛 레벤슨(Brett Levenson)이 설립한 AI 콘텐츠 모더레이션 스타트업 Moonbounce가 1,200만 달러의 투자를 유치했다. 이번 라운드는 Amplify Partners와 StepStone Group이 공동으로 리드했다.

레벤슨은 2019년 애플을 떠나 페이스북의 비즈니스 무결성(business integrity) 부서를 이끌었다. 당시 페이스북은 케임브리지 애널리티카(Cambridge Analytica) 사태의 여파 속에 있었고, 그는 더 나은 기술로 콘텐츠 모더레이션 문제를 해결할 수 있을 것이라 생각했다.

하지만 문제는 기술보다 깊은 곳에 있었다. 인간 검토자들은 자신의 언어로 기계 번역된 40페이지 분량의 정책 문서를 외워야 했고, 신고된 콘텐츠 하나당 약 30초 안에 차단·사용자 제재·확산 제한 등의 판단을 내려야 했다. 레벤슨에 따르면 이 판단의 정확도는 "50%를 약간 상회하는 수준"에 불과했다.

"인간 검토자가 정책을 정확히 적용할 수 있는지는 동전 던지기와 비슷했고, 이마저도 피해가 이미 발생한 지 며칠이 지난 후였다"고 레벤슨은 말했다. 이러한 지연적·반응적 접근 방식은 AI 챗봇 시대에 더욱 지속 불가능해졌다. 챗봇이 십대에게 자해 지침을 제공하거나 AI 생성 이미지가 안전 필터를 우회하는 사건이 잇따르고 있다.

레벤슨의 해법은 정적인 정책 문서를 실행 가능하고 업데이트 가능한 로직으로 전환하는 "policy as code" 개념이다. Moonbounce는 자체 훈련한 대규모 언어 모델로 고객사의 정책 문서를 분석하고, 런타임에서 콘텐츠를 평가하며, 300밀리초 이내에 응답을 제공한다. 고객사 설정에 따라 고위험 콘텐츠를 즉시 차단하거나, 인간 검토가 이뤄질 때까지 배포 속도를 늦추는 방식을 선택할 수 있다.

현재 Moonbounce는 일 4,000만 건 이상의 콘텐츠 리뷰를 처리하며, 플랫폼 전체에서 1억 명 이상의 일일 활성 사용자를 지원하고 있다. 주요 고객사로는 AI 컴패니언 스타트업 Channel AI, 이미지·영상 생성 플랫폼 Civitai, 캐릭터 롤플레이 플랫폼 Dippy AI와 Moescape가 있다. 데이팅 앱, AI 캐릭터·컴패니언 기업, AI 이미지 생성기의 세 가지 주요 버티컬을 담당한다.

Amplify Partners의 제너럴 파트너 레니 프러스(Lenny Pruss)는 "콘텐츠 모더레이션은 항상 대형 온라인 플랫폼을 괴롭힌 문제였지만, 이제 LLM이 모든 애플리케이션의 핵심에 자리 잡으면서 이 도전은 더욱 어려워졌다"며, "객관적이고 실시간인 가드레일이 모든 AI 매개 애플리케이션의 근간이 되는 세상을 구상하고 있다"고 밝혔다.

12인 규모의 Moonbounce는 레벤슨의 전 애플 동료 애시 바드와지(Ash Bhardwaj)가 공동 창업자로 참여하고 있다. 바드와지는 애플에서 아이폰 핵심 서비스의 대규모 클라우드 및 AI 인프라를 구축한 경력이 있다.

Moonbounce의 다음 개발 목표는 "iterative steering"이라 불리는 기능이다. 2024년 Character AI 챗봇에 빠져든 14세 플로리다 소년의 자살 사건에서 영감을 받은 이 기능은, 유해한 주제가 감지될 때 단순 차단 대신 대화를 가로채 챗봇이 보다 적극적이고 도움이 되는 방향으로 응답하도록 프롬프트를 실시간 수정한다.