구글 리서치, 격자 기반 암호와 TEE로 zero-trust 비공개 분석 공개

구글 리서치가 5월 27일 새 암호 프로토콜과 TEE(신뢰 실행 환경) 어테스테이션을 결합한 '제로 트러스트(zero-trust)' 비공개 분석 솔루션을 공개했다. Google Research의 스태프 리서치 사이언티스트 Adrià Gascón과 구글의 시니어 스태프 리서치 사이언티스트 Mariana Raykova가 블로그를 통해 발표했다.

온디바이스 AI는 사용자 데이터를 기기 내에서 처리해 프라이버시를 지키지만, 수백만 개의 스마트폰에 흩어진 시스템의 성능을 이해하려면 개인 정보를 노출하지 않으면서 집계 지표를 모으는 보안 집계(secure aggregation)가 필요하다. 구글은 Pixel Recorder, Gboard 등에서 federated analytics를 활용해 익명화된 집계 인사이트를 얻어 왔다.

사용자 데이터를 집계 단계까지 보호하는 방식은 그동안 TEE 기반 하드웨어 격리와 암호 프로토콜 두 가지로 갈렸다. Intel TDX, AMD SEV-SNP 같은 TEE는 어테스테이션으로 엔클레이브 내부에서 실행되는 펌웨어·소프트웨어 상태에 대한 하드웨어 백킹 지문을 만들어 변조 여부를 검증한다. 구글은 이미 Pixel Recorder 앱에서 TEE 기반 차등 프라이버시 집계를 운영해 왔다.

그러나 TEE 격리에서는 SNPeek·TDXray 같은 사이드채널 취약점이 계속 발견되며, 어떤 단일 보호막에도 의존하지 않는 다층 방어가 이상적이라고 구글은 지적했다. 반면 암호 프로토콜은 개별 데이터를 수학적으로 복원 불가능하다고 증명할 수 있지만, 사용자 기기가 다중 라운드 프로토콜 내내 온라인을 유지해야 한다는 제약 때문에 대규모 사용이 어려웠다. 구글은 이미 두 세대에 걸친 보안 집계 프로토콜을 운영한 경험이 있다.

신규 솔루션의 핵심은 격자(lattice) 기반 새 프로토콜이다. 클라이언트가 한 번의 메시지로 정보를 안전하게 전송할 수 있어 다중 라운드의 부담이 사라진다. 동형성 덕분에 암호문을 합칠 때 그 안의 메시지와 암호 키도 함께 집계되며, 서버는 집계값만 복호화할 수 있는 키만 받으면 결과를 얻는다.

복호화 키는 클라이언트 가운데 무작위로 구성된 소규모 커미티가 나눠 보유한 '힌트'를 통해 풀린다. 집계 결과에는 차등 프라이버시 노이즈가 추가로 덧입혀지고, 한 클라이언트는 가용성에 따라 드물게 커미티에 참여해 어떤 복호화 키든 다수의 참여자에 분산되도록 설계됐다.

이 프로토콜을 구글의 confidential federated analytics 시스템에 통합해 암호 보호와 TEE 보호를 다층으로 결합한다. 개별 원시 데이터는 하드웨어로 보호되는 영역 내에서도 결코 복원되지 않고, 평문은 데이터가 집계·익명화된 마지막 단계에만 처리된다. TEE 어테스테이션은 공개된 코드가 의도대로 컴파일·실행됨을 모든 참여자에게 검증 가능하게 보여 준다.

첫 적용 분야는 Android SafetyCore다. SafetyCore는 안드로이드 9 이상 기기에서 작동하는 시스템 서비스로, 원치 않는 콘텐츠로부터 사용자를 보호하는 온디바이스 안전 기능을 제공한다. 구글은 SafetyCore 팀과 협업해 사용자 콘텐츠를 보지 않고도 분류기의 'true positive' 비율을 글로벌 기기군에서 측정하고, 새 위협에 대응해 모델 임계값과 업데이트를 정교하게 다듬는 데 이번 zero-trust 분석을 활용한다.