자막 자동화, 싱크 검수 안 하면 망합니다

ClipSquare 실제 화면

작성자

카테고리:

자막 30초, 영상 5분, 매일 올리는 사람의 시간 지옥

저는 춘천에서 원클립AI라는 스튜디오 혼자 AI 자동화 서비스를 굴리고 있는 아일리고입니다. 숏폼 자동 제작 파이프라인 작업 폴더가 최근 30일에 253개 쌓였고, 그중 유튜브 쇼츠용 렌더 영상이 39편 나갔어요. 영상 뽑는 건 크론이 알아서 하는데, 자막은 처음에 진짜 손으로 다 봤습니다. 숏폼 자막 자동 생성 하는 법을 검색하는 분들의 사정은 대충 압니다. 매일 올려야 하는데 자막 다는 시간이 영상 편집 시간보다 큰 거죠.

자막 작업이 왜 유독 오래 걸리는가

영상 자르는 건 감으로 됩니다. 자막은 안 그래요. 듣고, 쓰고, 타임코드 맞추고, 또 눈으로 확인하는 루프라서 몇십 초짜리 클립에도 시간이 꽤 듭니다. 게다가 매 편 반복되는 노동이라 더 지치죠.

‘자동으로 다 되는지’가 아니라 ‘어디까지 되는지’를 알아야 한다

이 글에서 하려는 약속은 이겁니다. 자동과 사람의 경계선, 싱크 검수 워크플로우, 그리고 도구 구독과 API 중 뭘 택할지 판단 기준. 잘된 것만 말고 검수 생략했다가 망한 이야기까지 적겠습니다.

자동 생성은 정확히 어디까지 되는가: 자동과 사람의 경계선

숏폼 자막 자동 생성이란 음성 인식(STT)으로 음성을 텍스트로 바꾸고, 발화 구간별 타임코드를 붙여 클립에 오버레이하는 과정까지를 기계가 대신하는 작업입니다. 여기까지는 자동입니다. 그 다음부터가 사람 영역이에요.

자동으로 되는 구간: 음성 인식 → 텍스트 변환 → 타임코드 분할

제 파이프라인에서 이 구간은 손 안 갑니다. 깨끗한 한국어 음성이면 텍스트 변환과 분할 품질이 체감상 충분해요. 서비스 홍보 영상을 ClipSquare, Folio Studio, 모션팩토리 3개 브랜드에 대해 하루 한 번씩 올리는데, 대본을 제가 쓰니 이 구간은 사실상 무인으로 돕니다.

사람 손이 꼭 필요한 구간: 고유명사·신조어·의성어

문제는 대본이 아니라 말이 흘러나가는 영상입니다. 고유명사가 틀리는 빈도가 은근히 높아요. “원클립AI” 같은 우리 브랜드명도 처음엔 다르게 받아적히더라고요. 신조어와 의성어는 더 합니다. 이 구간은 자동화해도 검수 눈을 통과시키는 게 실용적이었습니다.

BGM·노이즈·말 빠르기가 싱크를 무너뜨리는 조건

BGM이 크거나, 배경 노이즈가 있거나, 말이 빠른 구간에서 싱크가 무너집니다. 특히 문장 끊는 지점이 어긋나면 자막이 문장 중간에 잘려 다음 장면으로 넘어가요. “100% 자동”이라는 마케팅 문구는 이 조건들 앞에서 무너집니다. 저는 그래서 무인 렌더 이후에 싱크 샘플 확인을 파이프라인에 남겨뒀습니다.

싱크·오타 검수, 60초 안에 끝내는 방법

검수를 안 하면 어떻게 되는지 먼저 고백하면, 초반에 검수 생략하고 올린 편에서 자막이 문장 중간에 끊겨 있는 걸 올리고 나서 발견한 적이 있습니다. 지웠어요. 그 뒤로 검수 체크 시트를 만들었어요.

싱크 어긋남 3포인트 체크 (시작/중간/끝 구간 확인)

  • 시작 3초: 첫 자막이 말보다 늦게 뜨는지
  • 중간: 문장 끊김이 말 끊김과 일치하는지 (여기가 제일 자주 무너짐)
  • 끝 3초: 마지막 자막이 다음 장면으로 흘러들지 않는지

오타 잡는 순서: 줄 단위 스캔 → 고유명사만 집중

줄 단위로 훑고 나서 고유명사만 두 번 봅니다. 이 순서를 뒤집으면 시간이 두 배 듭니다. 오타 리스크의 대부분이 고유명사에 몰려 있어서예요. 후처리에 쓰는 프롬프트 하나 공유합니다.

아래 자막 텍스트에서 고유명사, 숫자, 신조어만 찾아 원문 발화 의미에 맞게 교정 후보를 제시해줘. 문체는 바꾸지 말고, 확신 없는 항목은 [확인] 태그를 붙여줘.

검수 없이 그대로 올렸을 때 벌어진 일

위에 쓴 것처럼 끊긴 자막을 그대로 올렸다가 스스로 지웠습니다. 다행히 계정 문제까지 간 적은 없지만, 그 편의 리치가 남들보다 낮게 나온 건 기억에 남아요. 검수 60초를 아낀 대가치고는 씁쓸했습니다.

ClipSquare 홍보 영상의 한 장면

비용 실험: 도구 구독 vs API 직접 붙이기

도구를 쓸지 API를 붙일지는 편수와 손볼 의지로 갈립니다. 전 API를 붙였는데, 이게 정답이라 말하진 않습니다.

월 30편 기준 총비용 비교 (구독 도구 vs STT API 호출)

구체 단가는 업체마다 바뀌어서 여기 숫자를 못 박으면 안 됩니다. 대신 구조적으로 계산하는 항목을 정리했어요.

항목 구독 도구 API 직접
고정비 월 구독료 고정 없음 (호출량 비례)
편당 비용 편수 늘어도 고정 편당 계속 누적
초기 공수 거의 없음 연결·재시도·오류 처리 직접
싱크/스타일 제어 도구가 정한 틀 안 내 마음대로
검수 손 필요 필요 (동일)

손익분기: 몇 편부터 API가 이득인가

계산식은 단순합니다. (월 구독료) 대 (월 편수 × 편당 API 호출료 + 유지 공수 환산)을 비교하면 돼요. 제 경우엔 편수가 많고 스타일까지 코드로 박고 싶어서 API 쪽이 맞았습니다. 30편 안팎의 소규모면 구독 도구가 계산상 이기는 경우가 흔합니다.

1인 크리에이터는 무조건 API가 답은 아니다

API를 붙이면 호출 실패 재시도, 포맷 변경 대응, 비용 폭주 방지까지 전부 제 몫입니다. 구독 도구도 몇 개 써봤는데 이건 이거대로 내보내기 전 사람 확인은 여전히 필요했어요. 자동화를 코딩 자체를 좋아하지 않는다면, 도구 하나 쓰세요. 그게 이득인 경우가 있습니다.

ClipSquare 홍보 영상용으로 만든 장면(AI 생성 이미지)

채널 톤 유지를 위한 자막 스타일 템플릿화

프리셋 없이 매번 폰트 고르다 날린 시간이 생각나면 지금도 아깝습니다. 색상, 크기, 위치를 매 편 정하던 시절이 있었는데, 프리셋 파일로 박아두고 나서 그 고민 자체가 사라졌어요.

폰트·크기·강조색을 한 번 정해 두고 프리셋으로 재사용

템플릿 문안 예시를 남깁니다. 복붙해서 쓰세요.

폰트: 채널 지정 폰트 1종 / 크기: 세로 화면 기준 안전영역 안 / 강조색: 채널 메인 컬러 1개만 / 위치: 하단 중앙 고정 / 배경: 반투명 스트로크

줄바꿈·문장 분할 규칙 (두 줄 이상 넘어가면 못 읽는다)

자막은 두 줄까지입니다. 세 줄부터는 폰트가 작아지거나 화면을 가려서 못 읽어요. 문장 분할 규칙을 호흡 단위로 정해두면 싱크 검수도 같이 쉬워집니다.

채널 바뀌면 템플릿도 버전 관리

저는 서비스가 7개라 브랜드별로 프리셋을 나눠 저장해 둡니다. 1인이면 프리셋 파일 몇 개면 충분하고, 팀이면 프리셋을 공유 폴더에 두고 버전을 붙이는 걸 권합니다. 누가 옛 프리셋으로 뽑는 사고가 생기거든요.

ClipSquare 홍보 영상용으로 만든 장면(AI 생성 이미지)

자막 없는 편 vs 있는 편, 성과는 진짜 다른가

무음 시청 환경에서 일어나는 일

숏폼은 소리 없이 보는 비중이 큽니다. 자막이 없으면 무음 시청자는 내용을 못 따라오고, 그냥 넘깁니다.

직접 운영한 계정에서 관찰한 차이

정확한 통계를 들이대긴 어렵습니다. 다만 자막 끊긴 편이 그렇지 않은 편보다 눈에 띄게 일찍 이탈하는 걸 여러 번 봤어요. 관찰입니다. 검증된 통계라고 우기진 않을게요.

단, 자막만으로 유입이 늘지는 않는다는 한계 분명히

자막은 감점 방지 장치지 득점 장치가 아닙니다. 소리 없는 환경에서 감점을 막아주는 게지, 자막 그 자체로 추천이 늘진 않아요. 이 관점을 가진 뒤로 자막에 거는 기대가 현실적으로 정리됐습니다.

정리: 오늘부터 자막 자동화 시작하는 3단계

  1. 도구 하나로 5편 시험 가동. 이때 자동/사람 경계가 어디인지 체험하세요.
  2. 60초 싱크 체크 시트(시작/중간/끝)와 고유명사 이중 확인을 고정 루틴으로. 손이 덜 가는 구간이 보입니다.
  3. 편수가 늘면 구독료와 API 비용을 다시 계산해 갈아타세요. 1회 계산으로 끝내면 안 됩니다.

제가 굴리는 자동화 작업물은 포트폴리오(wallenstein.dev)에, 숏폼 제작 도구는 원클립AI에 있습니다. 관련 글로는 숏폼 자동 렌더 파이프라인 구축기, STT 음성 인식 후처리 프롬프트 모음, 1인 크리에이터 크론 자동화 세팅 편을 이어서 읽으시면 됩니다.


글쓴이 정보

아일리고입니다. 자동화를 만들고 굴리며 겪은 일을 여기에 적습니다. 숏폼 영상은 ClipSquare 를 씁니다.

궁금해할 만한 것들

숏폼 자막 자동 생성은 어디까지 자동으로 되나요?

음성 인식으로 텍스트를 뽑고 발화 구간별 타임코드를 붙여 클립에 오버레이하는 것까지는 자동으로 됩니다. 그 다음의 고유명사 교정과 싱크 확인은 사람이 보는 게 실용적이에요. 대본 없이 말이 흘러나가는 영상이면 특히 그렇습니다.

자동 생성 자막, 검수 안 하고 그대로 올려도 되나요?

권하지 않습니다. 저도 검수를 생략했다가 문장 중간에 끊긴 자막을 올린 뒤 발견하고 지운 적이 있어요. 시작 3초, 중간 끊김, 끝 3초만 확인하면 60초 안에 끝나니 그 시간은 아끼지 않는 게 낫습니다.

자막 도구는 구독과 API 중 뭐가 이득인가요?

월 30편 안팎의 소규모면 구독 도구가 계산상 이기는 경우가 많습니다. 편수가 많고 자막 스타일을 코드로 직접 박고 싶을 때 API가 이득이에요. 단 API는 호출 실패 재시도나 비용 폭주 방지 같은 유지 공수가 따라옵니다.