구글, 스마트폰 전면 카메라로 심박수 측정하는 AI 시스템 'PHRM' 공개
구글 리서치가 스마트폰 전면 카메라로 일상 중 심박수와 안정시 심박수를 자동 측정하는 연구 시스템 'PHRM(Passive Heart Rate Monitoring)'을 공개했다. 사용자가 얼굴 인식으로 잠금을 해제하는 순간 전면 카메라가 얼굴 영상을 짧게 촬영하고, 딥러닝으로 심박수를 추정한다. 관련 논문 'Passive Heart Rate Monitoring During Smartphone Use in Everyday Life'은 학술지 네이처에 실렸다.
심박수는 활동·스트레스·질병에 따라 변하는 핵심 생체신호이며, 안정시 심박수(RHR)는 심혈관 건강과 장기 건강 위험을 보여주는 주요 지표다. RHR이 높거나 시간이 지나며 올라가면 중대한 심혈관 사건 및 모든 원인에 의한 사망 위험과 연관된다. 핏빗이나 픽셀 워치 같은 웨어러블이 이런 지표를 추적해 왔지만, 저자원 환경이나 심혈관 질환 고위험군에서는 보급에 한계가 있다. 구글은 이미 약 50억 명이 건강을 측정할 수 있는 센서를 갖춘 스마트폰을 보유하고 있다는 점에 주목했다.
PHRM은 광용적맥파(PPG) 방식으로 심박수를 측정한다. 혈액이 박동할 때마다 피부에서 빛이 상호작용하는 미세한 변화를 감지하는 원리다. 8초 길이의 얼굴 영상 클립을 기기 안에서 처리하며, 연산 효율이 높은 시간이동 합성곱 신경망으로 심박수와 신뢰도 점수를 함께 예측한다. 하루 동안 쌓인 예측값을 신뢰도 점수와 칼만 필터로 종합해 일일 안정시 심박수를 추정한다.
카메라로 원격 PPG(rPPG)를 측정하는 컴퓨터 비전 모델은 20년 전부터 있었지만, 기존 연구는 통제된 환경의 소규모 실험에 그쳤다. 특히 멜라닌이 많아 신호 검출이 어려운 어두운 피부를 가진 참여자가 크게 과소대표됐고, 최근 연구에서 어두운 피부에 대한 정확도가 유의하게 낮다는 점이 확인됐다. 이는 산소포화도 측정기에서도 나타난 문제로, 미국 식품의약국(FDA)이 검증 연구에 다양한 피부색을 포함하도록 지침 초안을 마련하는 계기가 됐다.
구글은 실험실과 실생활 환경에서 약 700명의 동의를 받은 다양한 참여자로부터 35만 개 이상의 영상 클립을 모아 PHRM을 개발했다. 몽크 피부톤 척도를 활용해 밝은 피부(1그룹)와 중간 피부(2그룹)가 각각 최소 25%, 어두운 피부(3그룹)가 최소 33%를 차지하도록 했다. 또한 각 그룹의 심박수 평균절대백분율오차(MAPE) 차이가 5%포인트 미만이어야 한다는 비열등성 기준을 세웠다.
실험실 연구에서는 365명의 참여자로부터 다양한 조명과 활동 상태에서 얼굴 영상과 심전도(ECG)를 동시에 기록했다. 별도의 104명 테스트셋에서 PHRM은 모든 피부톤 그룹에서 MAPE를 10% 미만으로 유의하게 낮췄고, 기존에 발표된 주요 rPPG 모델 15종을 능가했다. 모든 피부톤에서 MAPE 10% 미만을 달성한 모델은 PHRM이 유일했다.
실생활 검증을 위해 231명의 참여자가 자신의 휴대폰에 데이터 수집 앱을 설치하고 8일간 평소처럼 사용하면서 ECG 흉부 스트랩과 핏빗 차지 6을 함께 착용했다. 앱은 얼굴 잠금 해제 직후 8초 클립과 ECG를 기록해 하루 평균 231개 클립을 모았고, 참여자는 매일 클립을 직접 검토해 민감한 내용이나 타인의 얼굴이 없는지 확인한 뒤 업로드를 승인했다.
101명 검증 집단에서 PHRM은 신뢰도 게이팅 후 전체 MAPE 6.09%를 기록했다. 1·2·3그룹은 각각 5.04%, 5.12%, 7.84%로 모두 10% 미만이었다. 일일 안정시 심박수의 경우 90명을 대상으로 73.6%의 날에 추정에 성공했고, 핏빗 차지 6 대비 평균절대오차(MAE)는 4.39bpm으로 목표치 5bpm보다 낮았다. 3그룹은 칼만 필터가 수렴하면서 측정 3일째부터 MAE가 5bpm 미만으로 떨어졌다.
검증 과정에서 PHRM이 추정한 안정시 심박수가 높은 참여자일수록 체질량지수(BMI)가 높고 심폐 체력(낮은 VO2max)이 떨어지는 경향이 확인돼, 모델이 심혈관 위험의 방향성을 제대로 포착했음을 보여줬다. 구글은 연구 공개와 함께 공개적으로 이용 가능한 가장 크고 다양한 스마트폰 영상 데이터셋과 사전학습된 'PHRM-mini' 모델을 함께 배포했으며, 자격을 갖춘 연구자는 접근을 신청할 수 있다. 구글은 PHRM이 일상적인 스마트폰 사용 중 심박수와 일일 안정시 심박수를 대규모로 수동 측정한 첫 사례라고 밝혔다.