AI 내레이션 자동화, 싱크 안 잡으면 망합니다

ClipSquare 실제 화면

작성자

카테고리:

AI 내레이션, 도구는 넘쳐나는데 파이프라인은 아무도 안 알려준다

춘천에서 1인으로 자동화 스튜디오를 굴리고 있다. 지금 이 글도 자동 파이프라인이 하루 3~4편씩 쓰는 글 중 하나고, 서버에는 크론이 70개 돌고 있다. 그러니까 나는 ‘AI 내레이션 자동으로 넣는 방법’을 검색해서 나오는 글들이 왜 답답한지 안다.

‘음성은 뽑았는데 영상에 못 붙이는’ 사람들

검색해 보면 전부 웹툴 사용법이다. 여기 클릭, 저기 붙여넣기, 다운로드. 그런데 내가 실제로 부딪힌 문제는 그 다음이었다. 대본이 바뀌면 음성을 다시 뽑아야 하고, 음성 길이가 달라지면 자막이 어긋나고, 새벽에 아무도 없을 때 돌아가는 무인 처리에서 빈 음성 파일이 떨어지면 하루 치 영상이 통째로 죽는다. 이 얘기를 하는 글이 없었다.

이 글에서 다루는 전체 흐름 한눈에 보기

순서는 이렇다. 대본을 문장 단위로 쪼갠다 → 문장별로 TTS API를 부른다 → 음성을 이어 붙여 영상과 합성한다 → 싱크가 어긋난 문장만 골라 다시 만든다 → 자막 타임코드를 재정렬한다. 그리고 매달 나오는 API 비용 이야기까지 한다. 도구 비교가 아니다. 실제로 돌아가는 파이프라인 세팅 순서다.

한 번 클릭으로 돌리는 세팅 순서: 대본→음성→영상

1단계: 대본을 문장 단위로 쪼개기

대본을 통째로 TTS에 던지지 않는다. 문장 단위로 쪼개서 배열로 관리한다. 이유는 뒤에서 나오는데, 싱크가 어긋났을 때 문장 하나만 다시 만들려면 애초에 문장 단위로 만들어 뒀어야 하기 때문이다. 마침표·물음표·느낌표 기준으로 자르되, 너무 긴 문장은 쉼표에서 한 번 더 쪼갠다.

2단계: TTS API 붙이기 (응답 저장 규칙 포함)

핵심은 응답 저장 규칙이다. 문장별 음성 파일 이름을 {대본해시}_{문장번호}.mp3처럼 정해두면, 같은 문장은 두 번 만들지 않는다. 이게 나중에 비용 절감의 전부다.

for i, line in enumerate(sentences):
    key = hash(script_id + line)
    if not cache.exists(key):
        audio = tts.synth(line, voice=VOICE, speed=1.1)
        cache.save(key, audio)
    parts.append(cache.path(key))
concat(parts) -> narration.mp3

3단계: 음성→영상 합성 자동화 + 무인 크론

합성은 ffmpeg로 붙였다. 음성 길이를 ffprobe로 재서 영상 구간과 맞추는 식이다. 여기까지는 별일 아닌데, 무인으로 돌리니까 문제가 터졌다.

어느 날 아침에 확인했더니 음성 파일이 빈 채로 렌더가 완료된 적이 있다. TTS API가 에러를 냈는데 내 코드가 그걸 무시하고 빈 파일을 정상 처리한 것. 그 뒤로는 파일 크기 검사와 재생 길이 검사를 합성 앞단에 붙였다. 부분 실패 재처리도 마찬가지로, 실패한 문장 번호만 로그로 남겨두고 다음 실행 때 그 문장부터 다시 돌린다. 전체를 다시 만들면 비용이 두 배로 나간다.

음성 톤·속도는 어떤 기준으로 고르나

콘텐츠 유형별 톤 선택 기준

정보형은 차분한 남성 톤, 스토리형은 약간 낮은 여성 톤, 쇼츠는 밝고 빠른 톤으로 시작해서 데이터를 보며 바꾼다. 쇼츠 자동 제작 파이프라인이 최근 30일에 작업 폴더를 253개 쌓았는데, 이 정도로 돌리면 톤 하나 바꾼 효과가 금방 보인다.

속도는 1.0이 아니라 1.05~1.15에서 시작하는 이유

1.0으로 들으면 사람 귀에는 느리게 느껴진다. TTS 엔진 기본값은 원고 낭독 기준이라 영상용으로는 템포가 처진다. 나는 보통 1.1로 시작해서 시청 유지 흐름을 보며 조금씩 옮긴다. 톤 후보 두 개로 같은 대본을 만들어 며칠씩 번갈아 올려보고 유지율 흐름을 비교하는 게 내 습관이다.

ClipSquare 홍보 영상의 한 장면

대본과 음성 길이가 어긋나면: 싱크 맞추는 실전 디버깅

어긋나는 3가지 원인

  • 문장 분리 단위가 커서 한 문장만 어긋나도 전체가 밀리는 경우
  • 숫자·영어 단어를 엔진이 이상하게 길게 발음하는 경우 (전화번호, 연도, 브랜드명이 대표적)
  • 문장 앞뒤 무음 구간이 불규칙하게 붙는 경우

숫자는 대본 단계에서 미리 읽는 형태로 바꿔버린다. “2026”을 “이천이십육”으로. 이것 하나로 발음 트래픽이 상당히 줄어든다.

문장 단위 재생성으로 일부분만 교체하기

제목에 ‘싱크 안 잡으면 망합니다’라고 쓴 이유가 여기 있다. 처음에는 싱크가 어긋나면 통짜로 다시 만들었다. 그랬더니 시간도 비용도 그냥 두 배였다. 문장 단위 재생성으로 바꾸니 어긋난 문장만 비용이 들고, 캐시 히트 덕에 안 바뀐 문장은 공짜다. 이 구조로 안 하면 무인 운영이 비용 폭탄이 된다.

자막 타임코드 재정렬 자동화

자막은 음성에서 문장별 시작 시각을 측정해서 만든다. 각 문장 파일의 길이를 누적합 하면 타임코드가 나온다. 문장 하나를 교체하면 그 문장 이후의 타임코드만 밀어주면 되는데, 이 재정렬을 수동으로 하면 정신이 나간다. 스크립트로 돌린다.

ClipSquare 홍보 영상용으로 만든 장면(AI 생성 이미지)

TTS API 비용, 실제로 얼마 나오고 어떻게 아끼나

청구 구조와 월 운영비 감각

TTS는 대부분 글자 수 기반으로 청구한다. 그래서 비용은 ‘대본 글자수 x 발행 편수’로 늘어난다. 나는 쇼츠용 대본을 짧게 유지하는데, 그 이유 중 하나가 비용이다. 정확한 월 청구액은 업체·볼륨마다 달라서 숫자를 함부로 못 쓰겠는데, 감각만 말하면 문장 캐싱을 붙이기 전과 후는 이야기가 달랐다. 같은 문장을 반복 생성하는 낭비가 생각보다 컸다.

절감 방법

  • 문장 단위 해시 캐싱: 같은 문장 재생성 차단
  • 변경분만 재생성: 대본 고칠 때 바뀐 문장만
  • 목소리 단가 비교: 프리미엄 보이스는 오프닝용처럼 짧은 구간에만
ClipSquare 홍보 영상용으로 만든 장면(AI 생성 이미지)

AI 음성 대신 사람 목소리가 나은 경우

감정의 굴곡이 중요한 이야기, 브랜드 얼굴이 붙는 콘텐츠는 사람 목소리다. 내 경우에도 대표 성격의 영상은 직접 녹음하고, 반복적으로 찍어야 하는 대량·무인 채널은 AI 음성을 쓴다. 기준은 단순하다. “이 영상이 이 목소리여야 하는가” 아니다면 AI다.

반대로 AI 음성이 이기는 영역은 분명하다. 매일 같은 톤으로 나와야 하고, 새벽에도 돌아가고, 대본이 자주 바뀌는 운영. 유튜브 쇼츠용 자동 렌더 영상이 최근 30일에 39편 만들어졌는데, 이걸 사람이 녹음한다는 게 말이 안 되는 규모다.

요약: 발행 전 1분 체크리스트

AI 내레이션 자동화란, 대본을 문장 단위로 쪼개 TTS API로 음성을 만들고 영상과 합성한 뒤 싱크와 자막을 자동 보정하는 무인 파이프라인을 말한다.

톤·속도·싱크·비용 점검표

  • 톤: 콘텐츠 유형에 맞는 목소리인가
  • 속도: 1.0이 아니라 1.05~1.15 구간에서 정했는가
  • 싱크: 문장별 길이 검사를 통과했는가, 빈 파일은 없는가
  • 비용: 바뀐 문장만 재생성되는가, 캐시가 작동하는가

오늘 시작하는 3단계 액션

  1. 대본을 문장 배열로 쪼갠다
  2. 문장 단위로 TTS를 부르고 해시로 캐싱한다
  3. 실패한 문장만 재처리하는 로그를 붙인다

싱크 보정과 비용 절감은 TTS 속도·톤 조절 편에서 더 파볼 생각이다.

근거로 삼은 문서


글쓴이 정보

1인 빌더 아일리고가 씁니다. 잘된 것도 망한 것도 적습니다. 영상은 제가 만든 ClipSquare 에서 나옵니다.

자주 나오는 질문

AI 내레이션을 자동으로 넣을 때 음성과 자막 싱크가 어긋나는 이유는 뭔가요?

대부분 문장 분리 단위가 커서 한 문장만 밀려도 전체가 밀리는 경우입니다. 숫자·영어 단어를 TTS가 비정상적으로 길게 발음하거나, 문장 앞뒤 무음 구간이 불규칙하게 붙는 경우도 흔합니다. 대본 단계에서 ‘2026’을 ‘이천이십육’처럼 읽는 형태로 바꿔두는 것만으로도 상당 부분 잡힙니다.

TTS 음성을 문장 단위로 쪼개서 만들어야 하는 이유가 있나요?

대본을 통째로 만들면 한 문장이 어긋났을 때 전체를 다시 뽑아야 해서 시간과 비용이 두 배로 나갑니다. 문장 단위로 만들고 파일명을 대본해시_문장번호로 캐싱해두면, 어긋난 문장만 다시 만들고 나머지는 공짜로 재사용할 수 있습니다.

무인으로 AI 내레이션 파이프라인을 돌릴 때 가장 먼저 막아야 할 실패는 뭔가요?

TTS API 에러로 빈 음성 파일이 떨어졌는데 코드가 그걸 정상 처리해버리는 경우입니다. 하루 치 영상이 통째로 죽습니다. 합성 직전에 파일 크기와 재생 길이 검사를 붙이고, 실패한 문장 번호만 로그로 남겨 다음 실행 때 그 문장부터 재처리하게 만들어야 합니다.