소형 모델 5개로 짠 경제 실험, 단일 모델 때 보인 시장 붕괴가 사라졌다
에이전트 기반 시장 모델을 직업으로 만드는 한 개발자가, 소형 언어모델로 짠 경제 시뮬레이션 '천 토큰 숲(Thousand Token Wood)'을 다시 만든 과정을 공개했다. 처음 버전에서 자랑스럽게 기록했던 시장 붕괴가 재구축 뒤 더는 일어나지 않았고, 그 실패가 성공보다 더 많은 것을 가르쳐 주었다는 게 이번 글의 요지다.
첫 글에서 그는 1929년 뱅크런을 숲 설화로 각색한 '우나의 곳간 인출 사태'라는 '숲의 전설'을 풀어놓았다. 꿀을 보관하던 올빼미가 공포를 읽고 자산을 팔아치우기 시작했고, 쏟아진 공급이 꿀 가격을 몇 턴 만에 10에서 3으로 무너뜨렸다. 아무도 각본을 짜지 않았는데도 벌어진 일이었다. 작은 모델에 역할과 예산만 쥐여 주면 창발적 시장 행동이 공짜로 따라 나온다는 게 그의 명제였다.
재구축의 핵심은 다섯 생물을 하나의 모델이 돌리던 방식을, 다섯 연구소의 서로 다른 소형 모델이 각자 한 생물씩 맡는 '협의체'로 바꾼 것이다. 오픈AI 모델, 엔비디아 모델, OpenBMB 모델, 그리고 그가 직접 미세조정한 5억 파라미터 모델 두 개로 구성했다. 한 모델이 다섯 역할을 연기하는 대신 서로 다른 다섯 아키텍처가 같은 시장에서 각기 다른 선택을 하게 하는 것이 주장을 가장 정직하게 검증하는 방법이라고 봤다. 그리고 바로 그 이질성이 이미 써 둔 이야기를 무너뜨렸다.
운영자 쪽도 다시 짰다. 플레이어는 이제 그림자 속에서 움직이는 금융가다. 특정 재화를 공매도하고, 몰락을 부를 진짜 정보를 흘린 뒤, 전설을 발동시키고, 가격이 폭락하면 수익을 챙기는 구조다. 목표와 점수판, 원클릭 첫 거래까지 화면에 드러내자 약속이 거짓임이 가장 빠르게 드러났다.
그가 꿀을 공매도하고 '우나의 곳간 인출 사태'를 발동시키자 꿀값은 폭락하지 않고 오히려 올랐다. 협의체 모델들은 곳간이 비었다는 소문과 작황이 망했다는 정보를 읽고도 꿀을 팔지 않고 쌓아 두었다. 투매가 아니라 희소성이었고, 공매도는 손실을 봤다. 그는 에이전트 경제에서 기준 가격은 돌려서 맞추는 다이얼이 아니라 에이전트들이 실제로 거래하기로 선택한 결과의 잔여물이라고 정리했다. 원래의 붕괴는 진짜였지만 시스템의 견고한 속성이 아니라 한 모델의 성향에 달린 우연이었다는 것이다.
그는 외부에서 경제를 밀어붙여 붕괴를 되살리려고 세 번의 실제 실행을 시도했다. 첫째, 전설을 순수한 소문으로 두고 에이전트들이 반응하길 기대했지만 그들은 팔지 않았다. 둘째, 공급 과잉이 수요를 무너뜨릴 것이라 보고 모든 생물의 창고에 꿀을 쏟아부었다. 이 방법은 빠른 오프라인 실행에 쓰는 규칙 기반 대역 정책에서는 완벽히 통했지만, 실제 모델들은 과잉 공급을 무시하고 스스로 판단해 거래했다. 셋째, 공매도 규모를 키우자 손실만 더 커졌다.
세 번의 기록은 각각 마이너스 15, 마이너스 26, 마이너스 27조약돌의 손실이었다. 돈을 버는 방법이라던 전제가 무색했다. 그가 당긴 모든 레버는 에이전트의 결정에 들어가는 입력일 뿐이었고, 에이전트들은 그 선택을 거부할 자유가 있었다. 이질적인 모델 집단은 기계적 충격만으로는 조종되지 않는다는 것이다.
더 깊은 함정도 있었다. 빠른 대역 정책에서 통한 해법이 거짓 확신을 주었고, 이를 반증하는 데 실제 실행 한 번을 날렸다. 값싼 대역과 진짜 에이전트가 엇갈릴 때 거짓말을 하는 쪽은 대역이며, 대역에서만 재현되는 결과는 결과가 아니라는 교훈이다.
해법은 에이전트를 설득하려는 시도를 멈추고 붕괴를 '구성으로' 참으로 만드는 것이었다. 뱅크런은 정의상 붕괴이므로, 전설은 이제 한 턴의 시장 청산이 끝난 뒤 정산 시점에 기준 가격을 직접 덮어써 해당 재화를 폭락시킨다. 에이전트들은 마음껏 거래하고, 그다음 인출 사태가 사실로 내려앉아 가격이 반토막 나면, 이를 앞질러 공매도한 포지션이 수익으로 정산된다. 이 방식에서 가격은 안정적으로 반토막 났고 같은 도박은 플러스 40으로 돌아섰다. 붕괴는 더 이상 바라는 행동이 아니라 하류의 무엇도 반박할 수 없는 단 하나의 이음매에서 부과하는 결과다.
이것이 창발을 포기하는 것처럼 들리지만 정반대라고 그는 강조한다. 다섯 모델이 거래하고 험담하고 비축하고 앙금을 쌓는 창발 계층은 여전히 숲을 살아 있게 하는 모든 일을 한다. 신뢰할 수 있는 결과는 창발적 입력을 더 세게 밀어서가 아니라, 결정론적 통제를 심을 정확한 이음매를 고르고 그 상류는 모두 자유롭게 두는 데서 나온다. 질감은 창발에, 반드시 일어나야 하는 순간은 권위적 통제에 맡기는 것이다. 그는 더 큰 규모와 더 높은 위험에서 이 모든 실수를 직접 겪어 봤다며, 잃을 것이 조약돌 한 무더기뿐인 곳에서 다시 저질러 본 것이 유익했다고 적었다.