AWS, 항공우주 도면 검색용 Nova 멀티모달 임베딩 파이프라인 공개

AWS가 머신러닝 블로그를 통해 항공우주·자동차·중공업 제조 분야의 기술 문서를 검색하기 위한 멀티모달 검색 파이프라인 구축 사례를 공개했다. Amazon Bedrock의 'Nova Multimodal Embeddings'와 'S3 Vectors'를 결합해, 도면·열 분포도·검사 사진처럼 그림 안에 답이 들어 있는 문서를 텍스트 쿼리로도 검색할 수 있도록 한 사례다.

제조 현장 문서는 작성된 사양서뿐 아니라 엔지니어링 도면, CAD 도면, 검사 사진, 열 분석 플롯, 피로 곡선 등이 함께 묶인 형태가 많다. 예컨대 '노즐 목에서의 최대 벽 온도'를 묻는 질문의 답은 산문이 아니라 열 분포(thermal contour) 플롯 안에 들어 있을 수 있어, 텍스트 전용 검색 시스템은 해당 정보를 표면화하지 못한다.

Amazon Nova Multimodal Embeddings는 텍스트·이미지·문서 페이지를 공유 벡터 공간에 매핑해 이 간극을 메운다. 두 모달리티가 같은 좌표계를 쓰기 때문에 텍스트 쿼리로 엔지니어링 도면을 찾고, 이미지 쿼리로 작성된 사양서를 찾는 양방향 검색이 가능하다.

모델은 256·384·1024·3072차원 임베딩을 선택해 생성할 수 있고, 차트·표·주석 도면이 섞인 페이지에는 'DOCUMENT_IMAGE' 처리 모드가 제공된다. 검색 워크로드용 'purpose' 파라미터는 인덱싱용 'GENERIC_INDEX'와 쿼리용 'GENERIC_RETRIEVAL'로 분리돼 있어, 별도의 쿼리 포맷팅 없이도 비대칭 임베딩으로 검색 품질이 개선된다.

이번 글에서 AWS는 두 개의 파이프라인을 같은 데이터셋 위에 병렬로 구축해 비교했다. 데이터셋은 합성 항공우주 제조 데이터로 만든 단독 기술 이미지 15장(CAD 도면, 검사 보고서, 시험 플롯, 재료 사양서, 공정 흐름도)과 다중 페이지 PDF 5건(조립 절차, 핫파이어 시험 보고서, 엔지니어링 변경 통지서, 재료 인증서, 부적합 보고서)으로 구성됐다.

파이프라인 A(멀티모달)는 이미지와 PDF 페이지를 Nova Multimodal Embeddings로 직접 임베딩해 S3 Vectors 인덱스에 적재했다. 파이프라인 B(텍스트 전용 베이스라인)는 Amazon Nova 2 Lite로 OCR 텍스트를 추출한 뒤, 같은 임베딩 모델에 텍스트만 입력해 별도의 S3 Vectors 인덱스에 적재했다.

평가는 26개 제조업 쿼리로 진행됐다. 멀티모달 인덱스에 대해 Recall@K, MRR(Mean Reciprocal Rank), NDCG@K 같은 검색 지표를 측정했고, 두 파이프라인 모두에서 컨텍스트를 검색한 뒤 Nova 2 Lite로 답변을 생성해 LLM 저지(judge)가 정답과 비교해 점수를 매기는 방식으로 생성 품질을 비교했다.

AWS는 이번 평가가 1024차원 임베딩을 기본값으로 사용했고, 검색 품질과 비용 사이의 실용적 절충이라고 설명했다. 평가용 모델 접근 권한은 'amazon.nova-2-multimodal-embeddings-v1:0'과 'us.amazon.nova-2-lite-v1:0'에 대해 us-east-1 리전에서 활성화돼야 한다.

AWS는 이 코드가 교육 목적으로 제공된 것이며 프로덕션 사용을 위해 검토되지 않았다고 밝혔다. 전체 구현 코드는 동반 GitHub 노트북에서 확인할 수 있고, 게시 글에는 임베딩 생성부터 벡터 인덱스 구축, 쿼리 실행에 이르는 단계별 구현이 정리돼 있다.