구글 리서치, NYU와 공동 개발한 AI 미래 역량 평가 도구 Vantage 공개

구글 리서치가 뉴욕대학교(NYU)와 공동으로 생성형 AI를 활용한 미래 역량 평가 연구 실험 'Vantage'를 공개했다. 이 도구는 비판적 사고, 협업, 창의적 사고 등 기존 표준화 시험으로는 측정하기 어려웠던 '미래 대비 역량'을 AI 시뮬레이션 환경에서 평가하는 것을 목표로 한다. Vantage는 현재 Google Labs에서 영어 버전으로 이용할 수 있다.

OECD의 'Learning Compass 2030'과 세계경제포럼(WEF)의 '미래 직업 보고서' 등 국제 프레임워크들은 비판적 사고, 협업, 창의적 사고를 핵심 역량으로 제시해왔다. 이러한 역량은 AI 이전부터 중요하게 다뤄졌지만, AI 시대에 들어서면서 그 중요성이 더욱 부각되고 있다. 다만 기존 시험 방식은 사고 과정과 상호작용을 포착하기에 지나치게 경직적이고, 실제 활용 맥락과도 거리가 있다는 한계가 있었다.

Vantage는 학습자를 AI 아바타들과의 다자간 대화 환경에 배치한다. 토론 준비, 창의적 비전 발표 등 개방형 시나리오를 수행하는 과정에서 'Executive LLM'이 평가 루브릭에 따라 대화 흐름을 조정한다. 이 시스템은 아이디어에 대한 반박이나 갈등 상황을 동적으로 도입하여, 학습자가 특정 역량을 발휘할 수 있는 기회를 체계적으로 제공한다.

과제가 완료되면 'AI Evaluator'가 대화 전사 내용을 분석하여 시각적 점수와 질적 피드백으로 구성된 역량 지도를 생성한다. 이를 통해 그동안 비가시적이었던 인적 역량의 발전 과정을 정량화하고 구체적인 행동 지침으로 전환할 수 있다.

연구팀은 NYU와 함께 미국 내 18~25세 188명을 대상으로 검증 연구를 수행했다. 참가자들은 갈등 해결과 프로젝트 관리 등 협업 역량 평가 과제를 수행했으며, Executive LLM이 조정한 대화에서는 비조정 AI 아바타 대비 평가 대상 역량에 대해 유의미하게 더 많은 고밀도 정보가 도출됐다.

AI Evaluator의 채점 정확도 검증에서는 AI 평가자와 NYU 전문가 간의 일치도가 전문가 상호 간 일치도와 유사한 수준으로 나타났다. 이는 Vantage의 AI 기반 자동 채점 시스템이 인간 전문가 수준의 역량 평가를 제공할 수 있음을 시사하는 결과다.

연구팀은 AI 기반 역량 평가 도구를 개발하는 스타트업 OpenMic과도 공동 연구를 진행했다. 이 연구에서 180명의 학생이 영문학 관련 캐릭터 인터뷰, 미디어 기사 등 창의적 멀티미디어 과제를 수행했다. 창의성과 영어 역량 평가에서도 AI Evaluator와 인간 전문가 간 높은 상관관계가 확인됐다.

연구팀은 향후 학교 환경에서 기존 교과과정 위에 측정 가능한 '역량 레이어'를 구축하는 방향을 제시했다. 사회과학 주제에 대한 AI 아바타와의 토론, 실험 계획 수립 등의 과제를 통해 교과 지식과 협업·비판적 사고 등 역량을 동시에 평가할 수 있다는 구상이다.