아마존 FinTech, Claude Sonnet 4.5 RAG로 규제 대응 자동화 시스템 구축

아마존 핀테크(FinTech) 팀이 규제 당국의 문의를 자동으로 처리하는 AI 응답 시스템을 Amazon Bedrock과 AWS 위에 구축했다고 AWS가 공개했다. 각 팀이 자체 지식 베이스를 운영하며, Claude Sonnet 4.5와 RAG 기반 다중 턴 대화로 답변을 생성한다.

규제 문의 처리는 PDF·PPT·Word·CSV 등 다양한 포맷의 수천 건 과거 문서에서 정보를 종합하고, 아마존 내부 여러 시스템에서 근거 데이터를 가져온 뒤 규제 기한 내에 응답을 작성하는 업무다. 문의 빈도와 사업 복잡도가 늘면서 더 확장 가능한 접근이 필요해졌다는 게 아마존의 설명이다.

팀이 정리한 핵심 과제는 세 가지다. 첫째, 도메인 특화 용어로 가득한 방대한 코퍼스에서 정확도와 규제 준수성을 유지하며 빠르게 선례와 근거를 찾아내야 한다. 둘째, 이전 대화 맥락이 답변 품질을 좌우하므로 세션을 넘나드는 다중 턴 상태 관리가 필요하다. 셋째, 모델이 원문에 없는 정보를 환각하거나 옛 컴플라이언스 가이드라인을 회수하는 경우를 잡아낼 관측 가능성과 지속적 모니터링이 요구된다.

솔루션은 Amazon Bedrock Knowledge Bases와 Amazon OpenSearch Serverless를 결합한 RAG 아키텍처를 채택했다. 실시간 채팅은 Converse Stream API를 통해 Claude Sonnet 4.5가 처리하고, Amazon DynamoDB에 대화 이력을 저장해 맥락을 유지한다. 규제 문의는 맥락 의존도가 높아 캐시 적중률이 낮을 가능성이 크다고 보고, LLM 응답과 중간 결과는 캐싱하지 않는다.

지식 베이스 인제스천 파이프라인은 사용자 업로드로 시작된다. 클라이언트가 Amazon API Gateway를 거쳐 인제스천 AWS Lambda에 사전 서명된 S3 URL을 요청하고, 받은 URL로 문서를 업로드한다. S3 적재가 끝나면 Lambda가 포맷 변환과 동시 인제스천을 수행한 뒤 Amazon Bedrock Knowledge Bases를 호출한다. 멀티모달 콘텐츠 추출은 Amazon Bedrock Data Automation(BDA)이 맡아 이미지·차트·표를 별도 전처리할 필요가 없다.

벡터 저장 단계에서는 Knowledge Base가 계층적 청킹(hierarchical chunking) 전략으로 문서를 쪼개 Amazon Titan Text Embeddings로 임베딩한 뒤 OpenSearch Serverless에 적재한다. 계층적 청킹은 부모-자식 관계를 형성해 작은 청크로 정밀하게 검색하고 큰 부모 청크로 충분한 문맥을 함께 반환하는 방식이라, 섹션 구조를 가진 금융 문서에 적합하다는 설명이다.

채팅 애플리케이션은 WebSocket으로 API Gateway와 양방향 연결을 유지한다. 사용자 질문은 Chat Service AWS Lambda로 전달되며, 이 Lambda는 Claude 3.5 Haiku 모델의 쿼리 확장 전략으로 질문을 여러 변형으로 만든다. 각 확장 쿼리는 Knowledge Bases Retrieve API에 전달돼 OpenSearch Serverless에서 벡터 유사도 검색을 수행하고, 가장 관련도 높은 문서 청크와 출처 메타데이터, 관련도 점수를 함께 반환한다.

관측 가능성은 OpenTelemetry와 자체 호스팅 Langfuse 조합으로 확보해 검색 과정과 모델 판단을 가시화하고, 시간이 지나며 발생하는 정확도 드리프트를 모니터링한다. 솔루션을 사용하는 각 팀은 자체 문서와 참조 자료로 별도 지식 베이스를 만들어 운영하도록 설계됐다.