AWS, Nova Micro·Bedrock 온디맨드 추론 기반 커스텀 Text-to-SQL 파인튜닝 가이드 공개… 월 22,000 쿼리에 0.80달러

AWS는 Amazon Nova Micro를 LoRA(Low-Rank Adaptation)로 파인튜닝한 뒤 Amazon Bedrock의 온디맨드 추론으로 서빙하는 비용 효율적 커스텀 Text-to-SQL 구축 방법을 공개했다. 특정 SQL 방언이나 도메인별 데이터베이스 스키마에 맞춰야 하는 기업들이 상시 가동 인프라 비용 없이 토큰 단위 과금 방식으로 커스텀 모델을 운영할 수 있다는 것이 핵심이다.

예시 워크로드 기준으로 월 22,000건의 쿼리 트래픽에서 월 0.80달러의 비용을 달성했다. LoRA 어댑터 적용 과정에서 추가 추론 오버헤드가 발생하지만, 인터랙티브한 Text-to-SQL 애플리케이션에 적합한 지연 시간을 유지하면서 상시 호스팅 모델 인프라 대비 비용을 크게 줄였다고 AWS는 설명했다.

구현은 두 가지 경로로 제공된다. 첫 번째는 단순성과 빠른 배포를 원하는 팀을 위한 Amazon Bedrock 모델 커스터마이제이션 방식이고, 두 번째는 하이퍼파라미터와 학습 인프라에 대한 세밀한 제어를 원하는 조직을 위한 Amazon SageMaker AI 학습 작업 방식이다. 두 방식 모두 동일한 데이터 준비 파이프라인을 공유하며 Amazon Bedrock의 온디맨드 추론으로 배포된다.

데모 데이터셋으로는 sql-create-context를 사용했다. WikiSQL과 Spider 데이터셋을 결합·큐레이션한 이 데이터셋은 다양한 데이터베이스 스키마에 걸쳐 자연어 질문과 SQL 쿼리를 짝지은 78,000개 이상의 예시를 포함한다. 단순 SELECT부터 다중 테이블 조인·집계까지 다양한 복잡도를 다뤄 Text-to-SQL 파인튜닝에 적합하다.

학습 데이터는 시스템 프롬프트·사용자 질의·어시스턴트 응답을 JSONL 형식으로 구성해 Amazon S3에 업로드한다. 각 레코드에는 bedrock-conversation-2024 스키마 버전과 테이블 스키마가 포함된 시스템 프롬프트, 자연어 질의와 SELECT 구문 응답이 쌍으로 담긴다.

Amazon Bedrock 파인튜닝 작업에서 Nova Micro에 조정 가능한 하이퍼파라미터는 네 가지다. 에폭(Epochs)은 1~5 범위에서 5를 사용했고, 배치 크기는 Nova Micro에서 1로 고정된다. 학습률은 0.000001~0.0001 범위에서 안정적 수렴을 위해 0.00001을 선택했으며, 학습률 워밍업 스텝은 0~100 중 10을 적용했다. 이 설정으로 예시 데이터셋 기준 약 2~3시간 만에 학습이 완료됐다.

Amazon Bedrock은 학습 중 학습 손실(Training loss)과 검증 손실(Validation loss)을 자동 생성해 지정된 S3 출력 위치에 저장한다. 학습 손실은 모델이 학습 데이터에 얼마나 잘 적합되는지, 검증 손실은 미학습 데이터에 대한 일반화 성능을 나타낸다. 두 손실 곡선이 일관되게 감소하고 유사한 패턴으로 비슷한 최종값에 수렴하는 것이 성공적 학습의 지표다.

파인튜닝 작업이 완료되면 커스텀 Nova Micro 모델을 Amazon Bedrock 온디맨드 추론으로 배포할 수 있다. 이 배포 방식은 자동 확장을 제공하고 기본 Nova Micro 모델과 동일한 토큰 기반 과금을 그대로 유지해 변동성 있는 워크로드에 비용 효율적이다. ML 인프라 관리 없이 커스텀 SQL 방언용 모델을 빠르게 구현해야 하거나, 최소한의 운영 복잡도 또는 자동 확장 기반 서버리스 추론이 필요한 경우에 적합하다.

AWS는 배포 전제조건으로 결제가 활성화된 AWS 계정, Amazon Bedrock Nova Micro 모델·Amazon SageMaker AI·Amazon Bedrock 모델 커스터마이제이션에 접근 가능한 표준 IAM 권한, 그리고 Amazon SageMaker AI 학습을 위한 ml.g5.48xl 인스턴스 쿼터를 명시했다.