사내 문서에 답하는 LLM 구축에서 확인할 정확도와 근거

핵심 요약

1. 같은 문서와 기준 질문으로 자체 모델 호스팅과 외부 모델 API의 답변 품질을 비교합니다. 2. LlamaIndex로 문서 조각을 관리하고, Claude Citations로 근거를 연결하며, OpenTelemetry로 처리 시간을 관측합니다. 3. 검색 평가와 답변 평가를 분리하고, 접근 권한과 삭제 요구를 확인하는 검수 로직을 직접 개발합니다.

LLM 구축을 검토하는 CTO에게는 자사 문서로 확인할 수 있는 선택 기준이 필요합니다. 기업용 AI의 비교 범위에는 답변의 정확성, 기다리는 시간, 열람 가능한 자료, 삭제 요청의 처리 결과를 함께 넣습니다. 이를 확인할 사내 문서 답변 서비스와 검수 화면의 구현 방법을 살펴봅니다.

기준 질문과 근거 정답을 등록하는 비교 화면

먼저 업무 담당자가 질문과 정답의 근거를 등록하는 화면을 만듭니다. 입력 자료의 예시는 ‘출장비 규정 최신 개정본’이며, 질문은 ‘출장비 정산은 언제까지 신청하나요?’처럼 실제 업무 문장으로 작성합니다. 담당자는 해당 조항과 승인한 정답을 연결하고, 문서에 답이 없을 때 기대하는 안내도 적습니다.

‘비교 실행’ 버튼은 같은 질문과 문서 버전을 두 방식에 전달하도록 개발합니다. 모델별 연결 처리는 따로 두되, 질문의 뜻과 답변에 제공하는 조건은 동일하게 맞춥니다. 결과 화면에서는 두 답변을 나란히 보여주고, 담당자가 정답 일치 여부와 근거 없는 내용을 각각 판정하게 합니다.

LlamaIndex로 문서 조각과 검색 결과 연결하기

LlamaIndex는 문서와 문서 조각인 노드에 메타데이터와 관계를 함께 저장할 수 있습니다. 문서 등록 기능에서는 원문을 검색에 사용할 조각으로 나누고, 문서명·개정일·해당 절을 부가 정보로 붙이도록 개발합니다. 어떤 조각이 어느 원문에서 나왔는지 추적할 연결 정보도 관리합니다.

검색 검수 화면은 질문에 대해 찾아낸 조각과 기준 정답의 근거를 대조하게 만듭니다. 답변 평가에서는 동일한 조각을 두 모델에 넣고, 전체 서비스 평가에서는 각 방식의 검색부터 답변까지 실행합니다. 필요한 조항을 못 찾았는지, 찾은 조항을 잘못 설명했는지 구분해야 수정할 개발 범위가 분명해집니다.

Claude Citations로 답변의 근거 구간 확인하기

Claude Citations는 제공한 문서를 답변의 근거 구간과 연결하는 기능입니다. Claude API를 비교 대상으로 사용할 때는 이 연결 정보를 받아 답변 옆에 ‘근거 보기’ 버튼을 붙입니다. 버튼을 누르면 문서명과 관련 구간이 열리도록 화면과 문서 조회 기능을 직접 연결합니다.

자체 호스팅 모델이나 다른 API를 연결할 때도 근거를 확인할 공통 화면을 마련합니다. 방식별로 받은 출처 정보를 정리하고, 실제 등록 문서와 연결되는지 확인하는 처리는 자체 개발 범위입니다. 인용 표시만으로 정확성이나 최신성이 보장되지는 않으므로, 근거가 답변을 뒷받침하는지와 기준 문서 버전이 맞는지를 별도 검수합니다.

OpenTelemetry로 검색 시간과 답변 시간 나누기

OpenTelemetry는 트레이스·지표·로그 등 운영 상태를 살펴보는 신호를 다룹니다. 비교 서비스에서는 질문 접수, 검색 완료, 답변 완료 시점에 관측 정보를 남기도록 연결합니다. 한 요청이 거친 처리 흐름을 묶고, 검색에 걸린 시간과 답변 생성에 걸린 시간을 계산하는 로직을 추가합니다.

검수 화면에는 전체 응답시간과 단계별 시간을 함께 표시합니다. 같은 문서 범위와 동시 요청 조건에서 반복 실행하고, 실패한 요청도 결과에 포함하도록 개발합니다. 허용 대기시간과 정답 판정 기준은 업무 담당자가 정하며, 이를 모두 충족했는지 보여주는 합격 판정은 별도로 구현합니다.

접근 권한과 삭제 요청을 확인하는 관리자 화면

두 번째 입력 자료의 예시는 ‘부서별 문서 열람 권한표’입니다. 로그인한 사용자의 부서와 문서별 허용 범위를 연결하고, 검색 전에 권한을 검사하는 로직을 개발합니다. 영업팀 계정으로 인사팀 전용 문서를 물었을 때 내용이 답변에 섞여 나오면 실패로 판정하며, 근거 보기 화면의 접근도 함께 확인합니다.

관리자의 삭제 요청은 원문, 검색용 조각, 저장된 답변 등 확인할 대상을 연결해 처리하도록 만듭니다. 삭제 후 같은 질문을 다시 실행해 해당 문서가 검색 결과와 근거 화면에서 제외되는지 검수합니다. 외부 API에 전송한 자료의 보관·삭제 조건은 별도로 확인하고, 자체 저장 영역의 삭제 결과와 구분해 비교표에 남깁니다.

출장비 규정 개정본, 부서별 열람 권한표, 비교할 업무 질문을 준비해 사내 문서 답변 서비스의 모델 연결·검색·검수 화면 개발을 문의해 주세요. 트램스 AI 제작 문의 (https://trams.co.kr/ai-si/contact/#inquiry)