AWS, Amazon Bedrock Knowledge Bases 자동 동기화 솔루션 공개… EventBridge·Lambda·SQS·Step Functions·DynamoDB 5단계 서버리스 아키텍처, StartIngestionJob 0.1 RPS·계정당 5건 쿼터 자동 준수

AWS가 Amazon Bedrock Knowledge Bases와 Amazon S3 간 자동 동기화를 구현하는 서버리스 솔루션을 공개했다. S3에서 문서가 추가·수정·삭제(메타데이터 파일 포함)될 때마다 수동으로 동기화를 실행해야 했던 기존 운영을 이벤트 기반 아키텍처로 자동화한 것이 핵심이다.

솔루션은 AWS Serverless Application Model(AWS SAM) 기반 완전 서버리스 구조로 배포된다. 구성요소는 5종이다. Amazon EventBridge가 S3의 실시간 변경을 캡처하고, AWS Lambda 함수가 이벤트를 처리·관리하며, Amazon SQS는 요청을 버퍼링해 서비스 쿼터를 준수한다. AWS Step Functions가 동기화 워크플로를 오케스트레이션하고, Amazon DynamoDB가 문서 변경과 작업 메타데이터를 추적한다.

Amazon Bedrock 서비스 쿼터는 동시 수집 작업을 AWS 계정당 5건, 지식 베이스당 1건, 데이터 소스당 1건으로 제한한다. StartIngestionJob API는 초당 0.1건(10초당 1건) 호출률 한도가 적용된다. 콘텐츠 팀이 릴리스 중 다수 파일을 동시에 업데이트하면 이러한 한도 때문에 동기화 요청이 적체될 수 있어, 자동 오케스트레이션이 필요하다는 설명이다.

1단계 '문서 변경 감지'에서는 S3 업로드·수정·삭제 이벤트가 EventBridge로 전송된다. 이벤트 처리 Lambda 함수는 파일 경로·변경 유형·타임스탬프 등 메타데이터를 추출해 DynamoDB에 추적 항목을 생성하는 동시에, SQS로 동기화 요청 메시지를 발송해 속도 한도 관리를 위한 큐를 형성한다.

2단계 '큐 관리'에서 동기화 처리 Lambda는 SQS 메시지를 한 번에 하나씩 소비하고, 각 메시지마다 Step Functions 실행을 시작해 문서 변경 상세와 지식 베이스 구성을 전달한다.

3단계 '오케스트레이션 동기화'에서는 Step Functions가 현재 리전의 활성 수집 작업 수를 검사해 서비스 한도를 초과하지 않는지 확인한다. 쿼터가 허용되면 동기화 작업을 즉시 시작하고, 그렇지 않으면 5분 대기 후 재확인하는 조건부 실행 흐름이다. 워크플로에는 작업 진행 추적, 재시도 로직, 데드레터 처리가 포함된다.

4단계 '지식 베이스 처리'에서 Amazon Bedrock은 변경된 문서를 스캔해 청크로 분할한 뒤 구성된 임베딩 모델로 벡터 임베딩을 생성한다. 새 임베딩은 벡터 데이터베이스에 저장되고 오래된 임베딩은 제거되며, 갱신된 콘텐츠는 즉시 시맨틱 검색·검색 기능에 노출된다.

5단계 '모니터링 및 알림'에서는 작업 완료·실패에 따라 DynamoDB의 문서 변경 상태가 갱신된다. Amazon SNS는 구성된 이메일이나 엔드포인트로 성공·실패 알림을 전달하며, Amazon CloudWatch 지표가 동기화 작업 시간·성공률·쿼터 사용량을 추적한다. 오류율이 임계치를 초과하거나 작업이 멈추면 CloudWatch 알람이 자동 발동된다.