Hugging Face의 Safetensors, PyTorch Foundation에 합류하며 커뮤니티 중심 거버넌스로 전환

Hugging Face가 개발한 모델 가중치 저장 포맷 Safetensors가 PyTorch Foundation에 공식 합류했다. 이로써 Safetensors의 상표권, 저장소, 거버넌스가 Linux Foundation 산하에 놓이게 되어 특정 기업에 종속되지 않는 벤더 중립적 프로젝트로 전환되었다.

Safetensors는 기존 pickle 기반 포맷의 임의 코드 실행 위험을 해결하기 위해 탄생한 프로젝트다. 100MB 하드 리밋의 JSON 헤더에 텐서 메타데이터를 기술하고, 뒤이어 원시 텐서 데이터를 배치하는 단순한 구조를 채택했다. 디스크에서 텐서를 직접 매핑하는 제로 카피 로딩과 전체 체크포인트를 역직렬화하지 않고 개별 가중치를 읽을 수 있는 레이지 로딩을 지원한다.

현재 Safetensors는 Hugging Face Hub를 비롯한 주요 플랫폼에서 모델 배포의 기본 포맷으로 자리잡았다. ML 전 모달리티에 걸쳐 수만 개 모델이 이 포맷을 사용하고 있으며, 오픈소스 ML 커뮤니티의 모델 공유 표준이 되었다.

PyTorch Foundation 합류 이후에도 기존 사용자에게는 변화가 없다. 포맷, API, Hub 통합 방식 모두 동일하게 유지되며 브레이킹 체인지는 없다. 기존에 Safetensors 포맷으로 저장된 모델도 그대로 작동한다.

Hugging Face의 두 핵심 유지관리자인 Luc과 Daniel은 기술 운영 위원회(Technical Steering Committee)에 잔류하며 프로젝트의 일상적 운영을 계속 이끈다. 동시에 기여자가 유지관리자가 되는 경로가 GOVERNANCE.md와 MAINTAINERS.md에 공식 문서화되어 커뮤니티 누구에게나 열려 있다.

향후 로드맵에는 CUDA, ROCm 등 가속기에 불필요한 CPU 스테이징 없이 텐서를 직접 로딩하는 디바이스 인식 로딩·저장 기능이 포함되어 있다. Tensor Parallel 및 Pipeline Parallel 로딩을 위한 퍼스트 클래스 API도 개발 중이며, 각 랭크나 파이프라인 스테이지가 필요한 가중치만 로딩할 수 있게 된다.

양자화 지원도 확대된다. FP8, GPTQ·AWQ 같은 블록 양자화 포맷, 서브바이트 정수 타입에 대한 공식 지원이 예정되어 있다. 이러한 과제들은 생태계 전체의 이해관계가 걸린 문제로, PyTorch Foundation 내에서 다른 호스팅 프로젝트들과 협력하며 해결할 계획이다.

Safetensors 팀은 PyTorch 코어 내에서 torch 모델의 직렬화 시스템으로 Safetensors를 사용할 수 있도록 PyTorch 팀과 협력하고 있다고 밝혔다. 이는 Safetensors가 단순한 외부 포맷을 넘어 PyTorch 생태계의 핵심 구성 요소로 자리매김할 가능성을 시사한다.