메타, 차세대 오픈소스 AI 모델 라마4 공개

메타가 차세대 대규모 언어모델 Llama 4를 공식 공개했다. 이번에 발표된 모델은 Llama 4 Scout, Maverick, Behemoth 세 가지로, 텍스트·이미지·비디오 등 대규모 비라벨 데이터로 학습되어 메타의 멀티모달 AI 역량을 한층 끌어올렸다.

기술적으로 가장 주목할 점은 Mixture-of-Experts(MoE) 아키텍처의 도입이다. Maverick은 총 4000억 개의 파라미터를 보유하지만 128개의 전문가 모듈 중 일부만 활성화하여 실제 작동하는 파라미터는 170억 개에 불과하다. Scout 역시 170억 활성 파라미터에 16개 전문가, 총 1090억 파라미터로 구성된다.

두 모델 모두 업계 최고 수준의 컨텍스트 윈도우를 지원한다. Maverick은 100만 토큰(약 1,500페이지), Scout는 1000만 토큰(약 15,000페이지)의 텍스트를 한 번에 처리할 수 있어 대규모 문서 분석이나 코드베이스 이해에 강점을 보인다.

메타의 내부 테스트에 따르면 Maverick은 OpenAI의 GPT-4o와 구글의 Gemini 2.0을 코딩, 추론, 다국어, 이미지 벤치마크 등에서 앞섰다. 그러나 토요일이라는 이례적인 발표 시점과 함께 커뮤니티에서는 벤치마크의 정확성과 실제 성능 간 괴리에 대한 의문이 제기되었다.

메타는 상업적 사용이 가능한 개방형 라이선스로 모델을 배포하며 오픈소스 원칙을 유지했다. 이는 자사의 가장 강력한 모델을 비공개로 유지하는 경쟁사들과 차별화되는 전략으로, AI 생태계에서 메타의 독자적인 위상을 더욱 공고히 하고 있다.