코히어, 첫 개발자용 코딩 모델 '노스 미니 코드' 오픈소스로 공개

캐나다 AI 기업 코히어가 개발자를 겨냥한 첫 모델 '노스 미니 코드(North Mini Code)'를 공개했다. 300억 개 파라미터 규모의 전문가 혼합(MoE) 모델로 토큰당 30억 개 파라미터만 활성화되며, 허깅페이스에서 아파치 2.0 라이선스로 받을 수 있다.

노스 미니 코드는 코히어가 새로 선보이는 모델 제품군의 첫 모델로, 에이전트형 소프트웨어 엔지니어링 작업에 특화되도록 설계·학습됐다. 복잡한 소프트웨어 개발 워크플로와 터미널 기반 에이전트 작업, 고품질 코드 생성에 최적화됐다는 설명이다.

코히어에 따르면 이 모델은 아티피셜 애널리시스(Artificial Analysis)의 '코딩 인덱스'에서 33.4점을 기록해, 비슷한 크기의 Qwen3.5(35B-A3B), Gemma 4(26B-A4B), Devstral Small 2(24B Dense)는 물론 Nemotron 3 Super(120B-A12B), Mistral Small 4(119B-A6B), Devstral 2(123B) 같은 훨씬 큰 모델까지 앞섰다. 동급 크기에서 가장 강력한 오픈소스 코딩 모델 중 하나라는 설명이다.

코히어는 실제 코딩 에이전트의 성능이 다양한 에이전트 하니스(실행 환경)에서의 견고함에 달려 있다고 보고, 하나의 스캐폴드에만 맞추는 대신 여러 스캐폴드를 사용해 모델을 학습시켰다. 이를 통해 노스 미니 코드를 오픈코드(OpenCode) 같은 코딩 에이전트의 안정적 기반으로 쓸 수 있게 했다.

구조 측면에서 노스 미니 코드는 디코더 전용 트랜스포머 기반의 희소 MoE 모델이다. RoPE를 적용한 슬라이딩 윈도우 어텐션과 위치 임베딩이 없는 전역 어텐션을 3대 1 비율로 번갈아 쓰며, 피드포워드 블록은 128개 전문가 중 토큰당 8개를 활성화하는 MoE 블록으로 구성된다.

후처리 학습은 두 단계의 지도 미세조정(SFT)에 이어 검증 가능한 보상을 쓰는 강화학습(RLVR)으로 이뤄졌다. 1단계 SFT에서는 코드 데이터가 학습 토큰의 70%를 차지했고, 2단계에서는 45억 토큰 규모의 데이터에서 코드가 61%를 차지했다. 학습에는 약 5천 개 고유 저장소에 걸친 7만 건 이상의 검증 가능한 작업이 쓰였으며, 평가 누수를 막기 위해 SWE-Bench·SWE-Bench-Pro 저장소와 중복을 제거했다.

1·2단계 SFT에는 각각 6만 4천, 12만 8천 토큰의 컨텍스트 길이를 사용하는 '롱-투-롱거' 방식이 적용됐다. 최종 SFT 모델은 SWE-Bench 베리파이드에서 pass@10 80.2%, 터미널-벤치 v2에서 pass@10 55.1%를 기록했다.

코히어는 하니스 간 일반화를 위해 2단계 SFT에 벤치마크 하니스 데이터를 소량(SFT 혼합의 6%) 추가했고, 그 결과 오픈코드 하니스 평가에서 10% 성능 향상을 얻으면서도 SWE-Agent 성능은 그대로 유지했다고 밝혔다. 미니 SWE-Agent 환경에서는 pass@1 61.0%를 달성했다.