Dovetail 같은 사용자 인터뷰 분석 만들기: Deepgram 전사와 Claude 요약

핵심 요약

1. 사용자 인터뷰 분석 AI는 녹음과 고객 피드백을 정리하고 답변·클립에서 근거를 다시 확인하는 서비스로 설계합니다. 2. Deepgram API로 전사하고 Claude API로 분류·답변을 생성하며 Cohere Rerank API와 FFmpeg를 검색 결과 재정렬과 클립 추출에 연결합니다. 3. 원문 식별자, 태그 기준, 인용 위치, 접근 권한과 검토 화면은 자체 개발합니다.

Dovetail을 참고해 만들 고객 인텔리전스 플랫폼

도브테일 Dovetail은 인터뷰와 고객 피드백을 의사결정 근거로 연결하는 고객 인텔리전스 플랫폼입니다. 공개된 Projects는 전사·요약·하이라이트·클립을, Chat은 출처를 추적할 수 있는 답변을 제공합니다. 이를 참고한 제작 목표는 UX 리서치 리포지토리에 원문을 모으고, 팀이 요약에서 실제 발언까지 돌아갈 수 있게 만드는 것입니다. 아래 기술 조합은 공개 기능을 참고해 유사 서비스를 만들기 위한 구현 대안입니다.

Deepgram API로 인터뷰 녹음 자동 전사 연결하기

입력은 이용 조직이 처리 권한을 확보한 인터뷰·통화 녹음입니다. 음성인식 AI API인 Deepgram에 파일을 전달하면 전사 텍스트와 단어별 시작·종료 시간, 화자 정보를 받도록 구성할 수 있습니다. 애플리케이션은 녹음 식별자와 전사 구간을 함께 저장합니다.

화자 번호를 실제 참여자 이름에 연결하고 전사문을 수정하는 화면은 자체 개발합니다. 업로드 실패와 빈 응답을 처리하고 수정 뒤에도 원본 시간 연결을 유지해야 합니다. 출력은 발언을 클릭하면 해당 녹음 위치를 확인할 수 있는 화자·시간별 원문입니다.

한국어 인터뷰 화자 분리는 모델·언어·옵션의 지원 조합을 확인해 설계합니다. Deepgram의 Nova-3·Nova-2 일반 모델은 한국어를 지원하지만, 단일 한국어 지원과 다국어 모드의 지원 언어는 구별해야 합니다. 한국어와 다른 언어가 섞인 녹음은 별도 조건으로 검토합니다.

Claude API로 고객 피드백 자동 분류 설계하기

입력은 전사문과 지원 문의 등 고객이 남긴 원문입니다. 자체 로직으로 문서와 발언에 식별자를 붙인 뒤, Claude API에 분류 기준과 함께 전달합니다. 모델은 주제, 고객이 직접 밝힌 이유, 요약과 근거 식별자를 후보로 생성하도록 설계합니다.

태그 체계와 여러 주제에 걸친 발언의 처리 규칙은 서비스에서 정합니다. 원문에 없는 이유는 추정으로 구분하거나 비워 두고, 반환된 근거가 실제 원문에 존재하는지 검증합니다. 담당자가 수정·확정하면 주제별 피드백 목록과 요약을 출력합니다.

VOC 분석 자동화에서 언급 건수 집계는 코드가 담당하고 AI는 분류와 설명을 맡습니다. 분류 지침과 검토 절차는 프롬프트 템플릿이나 AI 스킬로 재사용할 수 있습니다. 고객 자료는 이용 조직이 제공하고, 자료 접근 권한은 애플리케이션에서 검사합니다.

리서치 RAG 구축: 검색·재정렬·인용 답변 연결하기

RAG는 검색한 원문을 바탕으로 답변을 생성하는 방식입니다. 사용자가 “가입 과정에서 고객이 어려워한 점은 무엇인가요?”라고 질문하면, 자체 검색 인덱스에서 접근 권한이 있는 관련 발언을 먼저 찾습니다. Cohere Rerank API는 질문과 후보 원문 목록을 받아 관련성 순서를 다시 정합니다.

원문 저장과 최초 검색은 애플리케이션이 담당합니다. Claude API에는 재정렬한 원문을 전달하고 인용 기능을 활용해 근거가 연결된 답변을 생성하도록 구성합니다. 근거가 부족하면 답변을 보류하는 규칙도 자체 로직에 둡니다.

출처 인용 AI 답변의 완성에는 위치 연결이 필요합니다. 문서 식별자와 인용 문자 범위를 전사 구간에 매핑하면 답변에서 원문과 녹음 시점으로 이동할 수 있습니다. 출력은 답변, 인용 발언, 원본 확인 링크가 함께 있는 화면입니다.

FFmpeg로 인터뷰 하이라이트 클립 추출하기

입력은 사용자가 선택한 발언입니다. 자체 로직이 해당 발언을 원본 파일의 시작·종료 시간으로 변환하고, 오픈소스 미디어 처리 도구 FFmpeg가 그 구간을 추출합니다. FFmpeg의 역할은 시간 구간에 맞춘 영상·음성 가공입니다.

스트림 복사 방식은 탐색 지점 때문에 원하는 발언 경계와 결과가 달라질 수 있습니다. 정확한 구간이 필요하면 재인코딩과 미리보기 검수를 포함하도록 설계합니다. 애플리케이션은 클립에 원문 링크와 공유 권한을 붙여, 수신자가 맥락을 확인할 수 있는 근거 클립을 출력합니다.

지원 범위와 운영 조건까지 제작 범위에 담기

녹음 보관 기간, 외부 AI API로 보낼 자료 범위, 프로젝트별 열람·공유 권한을 먼저 정합니다. 전사 수정과 분류 확정, 인용 확인을 하나의 검토 흐름으로 연결하면 잘못된 요약이 후속 답변에 재사용되는 문제를 줄일 수 있습니다.

Dovetail의 한국어 전사 추가 공지는 2022년 4월 11일의 지원 이력입니다. 이 공지만으로 현재 모든 플랜·기능의 한국어 지원이나 정확도를 판단할 수는 없습니다. 도입 시에는 대상 제품과 플랜의 제공 범위, 이용 권한을 확인합니다.

사용자 인터뷰 분석 AI를 제작하려면 필요한 기능, 보유한 입력 자료, 연결할 리서치·고객 대응 업무를 정리해 트램스 AI에 문의해 주세요. 제작 문의: https://trams.co.kr/ai-si/contact/#inquiry