숏폼 자막 싱크가 밀릴 때 고치는 법을 찾고 있다면
숏폼은 자막이 음성보다 조금만 늦어도 바로 티가 납니다. 말은 이미 나가고 있는데 글자는 앞 문장을 보여 주고 있으면, 보는 사람은 영상이 고장 났다고 느낍니다. 저도 자동으로 만든 영상에서 자막만 뒤로 밀린 적이 있어서 영상을 처음부터 다시 렌더링했습니다.
대본을 쓰고 음성을 만들고 자막까지 자동으로 뽑았는데 자막만 어긋나면 더 답답합니다. 음성은 멀쩡하고 대본도 맞는데 왜 그러는지 모르겠어서, 자막 파일을 열었다가 음성을 다시 만들었다가 한참을 헤맸습니다. 지금 이 글을 읽는 분도 비슷한 순서로 헤매고 계실 것 같습니다.
이 글에서는 세 가지만 봅니다. 음성 파일의 실제 길이, SRT의 마지막 종료 시간, 렌더 결과의 길이입니다. 이 세 값을 같은 시간표에 놓고 비교하면 밀림이 어느 단계에서 생겼는지 좁혀집니다.
밀림은 음성, 자막 파일, 렌더링 중 어디서 생기나
처음에는 자막 파일을 의심했습니다. 타임코드가 있으니 거기서 틀렸을 거라고 생각했거든요. 그런데 음성 파일을 열어 보니 대본으로 예상한 길이보다 길게 나와 있었고, 자막은 글자 수로 추정한 시간을 그대로 쓰고 있었습니다. 자막이 틀린 게 아니라 자막이 기준으로 삼은 시간이 틀렸던 겁니다.
그래서 지금은 세 값을 쌍으로 비교합니다.
| 비교할 두 값 | 같을 때 | 다를 때 |
|---|---|---|
| 음성 파일 길이 와 대본 예상 길이 | 음성 생성 단계는 정상 | 음성 생성에서 길이가 갈라짐. 속도 설정과 문장 끊김부터 확인 |
| 음성 파일 길이 와 SRT 마지막 종료 시간 | 자막 파일 단계는 정상 | 자막이 글자 수 추정 타임코드를 쓰고 있음 |
| SRT 마지막 종료 시간 과 렌더 결과 길이 | 렌더링 단계는 정상 | 프레임레이트 변환, 가변 프레임레이트, 속도 조절을 의심 |
길이는 ffprobe로 뽑습니다. SRT 끝 시각은 파일 마지막 줄을 보면 됩니다.
ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 narration.mp3
tail -n 5 subtitle.srt
잘못 짚었던 적도 있습니다. 자막이 밀린다고 SRT를 세 번이나 고쳤는데, 음성이 원래 예상보다 길게 나온 상태였습니다. 음성 길이부터 쟀으면 SRT를 건드릴 필요가 없었습니다.
앞은 맞는데 뒤로 갈수록 밀릴 때 점검 순서
앞부분은 정확한데 뒤로 갈수록 벌어지는 경우와, 중간 어딘가에서 한 번에 튀는 경우는 원인이 다릅니다. 완만하게 벌어지면 누적 오차이고, 계단처럼 뛰면 점프입니다. 제 경우 문장마다 붙인 무음 패딩과 밀리초 반올림이 쌓여서 누적이 생겼습니다.
- 음성 파일 총 길이와 대본 예상 길이를 비교합니다. 차이가 여러 문장에 조금씩 퍼졌는지, 한 문장에서 크게 벌어졌는지 봅니다.
- 문장별 클립을 이어 붙인 구간의 무음을 확인합니다. 클립마다 앞뒤 패딩을 합산해 보면 누적된 양이 드러납니다.
- 중간 지점과 끝 지점에서 SRT 시작 시각과 파형의 말소리 시작점을 대조합니다. 세 지점의 어긋남이 점점 커지면 누적, 중간은 맞는데 어느 지점부터 한꺼번에 밀리면 점프입니다.
패딩을 문장마다 조금씩 줄여 봤습니다. 누적은 확실히 줄었는데, 짧은 문장이 연달아 나오는 구간에서는 말이 자막보다 먼저 나왔습니다. 패딩 값을 바꿔 가며 여러 번 돌려 봤지만 딱 맞는 값은 아직 못 찾았습니다. 반올림을 줄이는 쪽은 효과가 있었는데, 그것만으로 다 잡히지는 않았습니다.

SRT 타임코드를 직접 고칠 때와 자동 정렬을 쓸 때
전체 자막이 똑같이 밀렸다면 모든 타임코드에 같은 값을 더하는 게 빠릅니다. 구간 몇 개만 어긋났으면 그 구간만 손으로 맞춥니다. 줄 수가 많고 여러 지점이 흔들리면 자동 정렬로 넘어갑니다.
| 기준 | 직접 수정 | 자동 정렬 |
|---|---|---|
| 오차 모양 | 일정한 오프셋, 구간 몇 개 | 누적이나 여러 지점에 흩어진 오차 |
| 자막 줄 수 | 적은 편 | 많은 편 |
| 대본과 음성의 일치 | 상관 없음 | 문장이 정확히 같아야 함 |
| 배경음 | 영향이 적음 | 음악이 크면 정렬이 흔들림 |
자동 정렬에 실패한 적도 있습니다. 음성을 만든 뒤 대본 문장을 몇 개 고쳤는데, 정렬 도구가 바뀐 문장을 엉뚱한 구간에 걸어 버렸습니다. 지금은 음성을 만들 때 쓴 원본 대본을 정렬 입력으로 고정합니다. 자동 정렬이 끝나면 눈에 걸리는 구간을 직접 열어 확인하는 순서로 씁니다.

영상 길이를 편집하면 자막이 틀어지는 이유
앞부분을 잘라내거나 구간을 지우면 자막이 틀어집니다. 자막 시간은 원본 기준으로 찍혀 있는데, 편집한 영상은 새 기준으로 재생되기 때문입니다. 앞부분을 잘라낸 만큼 자막은 뒤에 남습니다. 속도를 올리면 음성은 짧아지는데 자막 시간은 그대로라서 역시 어긋납니다.
컷 편집을 자동화에 넣었다가 자막이 전부 뒤로 밀린 적이 있습니다. 편집 단계가 자막 생성보다 나중에 돌아가서, 자막이 편집 전 타임라인에 묶인 채로 렌더링됐던 거죠. 자막 생성을 편집 뒤로 옮긴 다음에야 해결됐습니다.
예방은 두 가지 방법이 있습니다. 편집을 모두 끝낸 뒤에 자막을 생성하는 방법과, 자막을 클립 ID에 묶어 두고 편집할 때 같이 움직이게 하는 방법입니다. 저는 앞쪽을 택했습니다. 편집 결과가 확정된 다음에 자막을 만들면 기준 시간이 하나로 맞습니다.

자동화 파이프라인에서 자막 검수를 넣을 자리
숏폼 작업 폴더가 최근 30일에 253개 쌓였고, 쇼츠용 자동 렌더도 39편 나왔습니다. 하나씩 열어서 확인할 수 있는 양이 아닙니다. 그래서 검수를 세 군데에 넣었습니다.
음성 생성 → [길이 검사] → SRT 생성 → [역전·겹침 검사] → 렌더 → [세 지점 샘플 검사] → 공개
- 음성 생성 직후에는 길이가 대본 예상 범위 안인지 봅니다. 벗어나면 SRT 단계로 넘기지 않습니다.
- SRT 생성 직후에는 시간 역전, 자막 겹침, 최소 표시 시간을 못 채운 항목이 있는지 봅니다.
- 렌더 직후에는 시작, 중간, 끝 세 지점의 프레임을 뽑아 자막 텍스트와 대조합니다. 결과는 실패 로그로 남깁니다.
검사에 걸렸을 때 멈출지 알림만 보낼지는 위치로 정합니다. 음성 길이가 어긋나면 뒤 단계가 전부 의미가 없어지니 멈춥니다. 렌더 샘플이 조금 흔들린 정도는 로그를 남기고 알림만 보냅니다. 로그를 쌓아 보니 같은 실패가 어느 단계에서 반복되는지 바로 보여서, 이 부분은 쓸모가 있었습니다.
이 방법이 안 맞는 경우와 체크리스트
짧은 영상은 자막을 손으로 고치는 게 빠릅니다. 자막이 몇 줄뿐이라면 파이프라인으로 돌리고 검사까지 붙이는 것보다 열어서 직접 맞추는 쪽이 빠릅니다.
배경 음악과 효과음이 많은 영상도 자동 정렬이 자주 흔들렸습니다. 정렬이 실패해서 수작업으로 돌아간 영상은 대부분 음악이 깔린 쪽이었습니다. 음성 인식이 흔들리는 영상이라면 자동 정렬보다 직접 수정을 먼저 생각하는 편이 맞습니다.
렌더 전에 확인할 것
- [ ] 음성 파일 총 길이가 대본 예상 범위 안인가
- [ ] 음성 길이와 SRT 마지막 종료 시간이 맞는가
- [ ] SRT에 시간 역전이나 겹침이 없는가
- [ ] 최소 표시 시간을 못 채운 자막이 없는가
- [ ] 편집을 모두 끝낸 뒤에 자막을 생성했는가
렌더 후에 확인할 것
- [ ] 렌더 결과 길이가 SRT 마지막 종료 시간과 맞는가
- [ ] 시작, 중간, 끝 세 지점의 자막이 말소리와 맞는가
- [ ] 실패 로그가 남아 있는가
자막부터 고치기 전에 음성 파일 총 길이와 SRT 마지막 종료 시간만 먼저 비교해 보세요. 두 값이 다르면 자막 파일 단계를 보고, 같으면 렌더 쪽을 봅니다.
1인 빌더 아일리고가 씁니다. 잘된 것도 망한 것도 적습니다. 영상은 제가 만든 ClipSquare 에서 나옵니다.
자주 나오는 질문
숏폼 자막이 음성보다 늦게 나오면 어디부터 확인해야 하나요?
음성 파일 길이부터 재 보세요. 대본으로 예상한 길이와 차이가 크다면 자막 파일이 아니라 음성 생성 단계에서 길이가 갈라진 것이라 SRT를 아무리 고쳐도 소용없습니다.
음성 파일 길이와 SRT 종료 시간은 어떻게 확인하나요?
터미널에서 ffprobe -v error -show_entries format=duration 명령으로 음성 파일의 초 단위 길이를 뽑으면 됩니다. SRT는 파일 마지막 줄의 종료 시간을 보고, 두 값이 같은지 비교하면 자막 단계가 정상인지 바로 나옵니다.
자막이 앞은 맞는데 뒤로 갈수록 밀리면 어떻게 하나요?
문장마다 붙인 무음 패딩과 밀리초 반올림이 쌓인 누적 오차일 가능성이 큽니다. 패딩을 줄이면 개선되지만 짧은 문장이 연달아 나오는 구간에서는 말이 자막보다 먼저 나올 수 있어서, 값을 바꿔 가며 구간별로 확인해야 합니다.
영상을 컷 편집하거나 속도를 바꾸면 자막이 틀어지는 이유는 뭔가요?
자막 시간은 편집 전 원본 타임라인 기준으로 찍혀 있는데, 편집한 영상은 새 기준으로 재생되기 때문입니다. 앞부분을 잘라낸 만큼 자막이 뒤에 남고, 속도를 올리면 음성만 짧아집니다. 편집을 먼저 끝낸 뒤 그 타임라인 기준으로 자막을 생성하면 대부분 해결됩니다.
SRT 타임코드를 직접 고칠지 자동 정렬을 쓸지는 어떻게 고르나요?
전체가 같은 값만큼 밀렸거나 구간 몇 개만 어긋났다면 직접 고치는 게 빠릅니다. 여러 지점이 흩어져 흔들리고 자막 줄 수가 많다면 자동 정렬을 쓰되, 정렬 입력은 음성을 만들 때 쓴 원본 대본으로 고정해야 엉뚱한 구간에 걸리지 않습니다.
