Descript 같은 서비스 제작하기: 문장 삭제로 영상을 편집하고 자막을 합성하는 기능 제작법

핵심 요약

1. 문장을 고르면 해당 영상 구간을 잘라내고 자막·음성까지 편집하는 서비스를 만듭니다. 2. Deepgram API의 전사·시간 정보, FFmpeg 구간 편집, Creatomate 렌더링과 DeepFilterNet 음성 보정을 연결합니다. 3. 텍스트와 시간의 대응, 편집 이력, 자막 재배치와 최종 영상 검수는 자체 개발합니다.

전사한 단어를 원본 영상 시간과 연결하기

Descript의 핵심 가치를 구현 관점으로 옮기면 문서를 수정하듯 영상을 편집하는 기능입니다. 텍스트 기반 영상 편집기 개발의 출발점은 영상과 문장 사이의 정확한 시간 연결입니다. 아래 기술은 같은 기능을 구성하는 대안입니다.

미디어에서 확보한 음성을 Deepgram API에 전달해 전사하고 단어·구간 시간을 저장합니다. 음성 전사 타임스탬프는 이후 컷 편집과 자막의 기준이 되므로 원본 미디어 ID와 함께 보관합니다. 자체 코드는 언어와 입력 조건을 검사하고 사용자 수정본을 원래 전사와 구분합니다.

화면에 보이는 글자의 오타를 고치는 것과 영상에서 말한 구간을 지우는 것은 다른 작업입니다. 단순 텍스트 수정으로 원본 시간 연결이 사라지지 않도록 문장·단어 ID와 편집 명령을 별도 데이터로 설계합니다.

문장 선택을 영상 구간 삭제로 바꾸기

문장 삭제로 영상 자르기 기능은 선택한 텍스트를 원본의 시작·종료 시간으로 변환하는 흐름입니다. 자체 타임라인이 남길 구간을 계산하고 FFmpeg 구간 편집으로 해당 구간을 잘라 연결합니다. 편집 결과와 원본 시간의 대응표도 함께 생성합니다.

앞부분이 삭제되면 뒤쪽 자막의 시간도 달라집니다. 따라서 화면에서 선택한 문장만 없애는 것이 아니라 자막·영상·음성에 같은 편집 계획을 적용해야 합니다. 무음, 문장 경계와 겹치는 발언을 다룰 규칙을 정하고 사용자가 미리 듣고 되돌릴 수 있게 합니다.

자막과 화면 요소를 최종 영상에 합성하기

확정한 구간, 자막과 화면 소재를 Creatomate API에 전달해 최종 영상을 렌더링하는 구성을 사용할 수 있습니다. Creatomate 영상 렌더링은 정해진 타임라인과 요소를 합성하는 역할입니다. 새로운 장면을 생성하는 모델과 역할을 구별합니다.

자체 로직은 자막 길이, 줄바꿈과 화면 비율을 템플릿에 맞게 정리합니다. 강의 영상 자막 만들기에서는 자료 화면과 자막이 겹치지 않도록 배치 규칙도 필요합니다. 출력은 미리보기와 다운로드 가능한 영상이며 자막 파일을 따로 제공할지 역시 제품 요구에 맞춰 결정합니다.

음성을 보정하고 편집 결과 검수하기

DeepFilterNet으로 음성 잡음을 줄이고 FFmpeg로 필요한 음량·출력 규격을 맞추는 구성을 사용할 수 있습니다. DeepFilterNet 음성 잡음 제거는 입력 음질과 모델 조건에 영향을 받으므로 모든 왜곡을 복구하는 기능처럼 설명하지 않습니다. 원음과 보정 결과를 비교해 사용자가 선택하도록 합니다.

팟캐스트 음질 개선과 인터뷰 영상 컷편집의 검수는 텍스트 일치, 끊김, 입 모양과 소리의 시간차, 자막 위치를 나눠 확인합니다. 자체 코드는 파일 재생과 길이·해상도 등을 검사하고 사람은 의미가 끊기거나 발음이 부자연스러운 구간을 검토합니다.

원본, 편집 계획과 렌더링 결과를 별도로 저장하면 다시 편집할 때 원본을 훼손하지 않고 필요한 단계만 실행할 수 있습니다. 작업 큐와 상태 관리, 실패 재시도와 결과 보관까지 연결해야 반복해서 쓸 수 있는 편집기가 됩니다.

편집할 영상 유형과 필요한 자막·음질 기준을 정하면 문장 중심 편집에서 최종 출력까지 이어지는 서비스를 제작할 수 있습니다. 트램스 AI 제작 문의: https://trams.co.kr/ai-si/contact/#inquiry