감으로 고른 썸네일, 조회수가 안 나올 때 뭐가 문제인지부터
숏폼 조회수가 기대보다 안 나오면 제일 먼저 의심하는 게 첫 화면이다. 저도 그랬고요. 감이 좋은 컷이라 믿고 올렸는데 그냥 묻힌 적이 한두 번이 아니다. 콘텐츠 자체는 나쁘지 않았는데 0.1초 컷에서 미끄러진 것 같은 그 느낌, 숏폼 올려본 사람은 다 압니다.
숏폼에는 썸네일 업로드가 없다. 그럼 무엇을 테스트하는가
여기서 경쟁글들이 다 걸립니다. 유튜브 일반 영상은 썸네일 이미지를 따로 올리니까 A/B 테스트가 단순한데, 쇼츠·릴스 같은 숏폼은 썸네일 업로드 자체가 없어요. 그래서 일반 영상 로직을 그대로 갖다 붙인 글을 많이 봤습니다. 실제로는 안 됩니다.
숏폼의 썸네일은 첫 프레임, 즉 0.1초짜리 첫 컷입니다. 피드에서 멈추게 만드는 건 그 컷 하나고, 그러니까 테스트 대상도 “본영상은 같고 첫 컷만 다른 버전 2개”가 됩니다. 이 전제에서 시작하지 않으면 숏폼 A/B 테스트는 성립이 안 돼요.
본영상이 문제인지 첫 프레임이 문제인지 가르는 기준
가르는 신호는 시청 지표의 등락입니다. 첫 프레임이 문제면 처음 몇 초 안에 이탈이 몰려 있고, 본영상이 문제면 중간부터 등떨어짐이 시작돼요. 첫 3초 이탈이 유독 높은데 뒤에서는 그럭저럭 버티면 첫 컷을 고칠 차례입니다. 반대로 시작은 잘 잡는데 중반에 다 빠져나가면 썸네일 테스트를 아무리 돌려도 소용없어요. 본영상을 고쳐야죠.
숏폼 A/B 테스트, 실제로 돌리는 절차 (첫 프레임 2버전법)
같은 본영상에 첫 컷만 다른 버전 2개 만들기
만드는 법 자체는 단순합니다. 완성본 앞에 0.5초~1초짜리 인트로 컷을 하나 붙이는데, 이 컷만 A/B로 갈립니다. 본영상은 프레임 단위로 같아야 공정한 비교가 돼요. 저는 ffmpeg로 렌더할 때 첫 컷 소스만 변수로 바꿔서 두 파일을 뽑습니다. 요즘 자동 렌더로 숏폼이 최근 30일에 39편 나오니, 두 버전 뽑는 것쯤은 파이프라인에 그냥 붙여버렸습니다.
시간대·요일을 맞춰 올리는 이유: 공정한 비교 조건
같은 콘텐츠라도 밤 9시와 낮 2시의 피드 흐름은 다릅니다. 그러니 두 버전은 같은 요일, 같은 시간대에 올려야 해요. 제 세팅은 이렇습니다.
- A 버전: 화요일 저녁 업로드
- B 버전: 다음 주 화요일 같은 시간 업로드
같은 날 연달아 올리는 방법도 있는데, 같은 채널에 비슷한 영상이 붙어 노출되면 서로 잡아먹는 느낌이 있어서 저는 간격을 두고 올립니다. 대신 이러면 한 테스트에 2주가 걸리니, 그만큼 판단을 자동화 안 하면 사람이 지쳐요. 그래서 아래 크론 얘기가 나옵니다.
업로드 자동화: 파일명 규칙과 스케줄러 트리거
버전이 섞이면 테스트는 끝장입니다. 파일명 규칙을 못 박아 두세요. 복사해서 쓰시면 됩니다.
{콘텐츠ID}_{챕터}_{날짜}_{버전}.mp4
예: cs0042_ch1_20261027_A.mp4
스케줄러는 파일명을 읽어서 예약된 시간에 업로드 API를 치고, 업로드 완료되면 지표 수집 대기열에 영상 ID를 넣습니다. 파일명이 곧 테스트 그룹 라벨이 되는 구조라 사람이 라벨을 따로 관리할 일이 없어요.
조회수 몇까지 봐야 신뢰할 수 있나: 판단 기준과 끊는 시점
이게 제일 궁금해하는 부분인데, 솔직히 말하면 유의미한 표본 수니 신뢰 구간이니 하는 학술적 기준은 안 씁니다. 숏폼 트래픽은 분포가 워낙 들쭉날쭉이라 통계 가정이 잘 안 맞아요. 대신 몇 달 운영하면서 관찰로 얻은 기준이 있습니다.
최소 노출과 최소 시간: 언제까지 기다려야 하는가
제 기준은 이렇게 정리했습니다.
| 경과 시간 | 보는 것 | 행동 |
|---|---|---|
| 1~2시간 | 초반 격차 방향만 확인 | 참고만, 판단 금지 |
| 3~6시간 | 격차가 유지되는지 | 격차가 벌어지면 승자 가점 |
| 24시간 | 누적 격차 확정 | 승자 확정 또는 무승부 처리 |
초반 2~3시간에 벌어진 격차가 하루 종일 뒤집히는 경우가 드물더라고요. 물론 가끔 역전도 있습니다. 그래서 24시간까지는 확정을 미룹니다.
1시간 단위 격차가 벌어지는 패턴 읽는 법
1시간 단위로 지표를 찍어보면 두 곡선이 거의 붙어 있다가 어느 시점부터 벌어지는 걸 볼 수 있어요. 이 벌어지는 시점이 피드 재추천이 도는 타이밍이라고 보시면 됩니다. A가 먼저 벌어지기 시작하면 그 버전의 첫 컷이 피드에서 더 잘 잡힌 거고요.
판단을 미루면 오히려 망하는 이유
테스트에도 비용이 듭니다. 제가 삽질한 케이스가 있는데, 승자 판단을 미룬 채 A/B를 계속 돌려서 지고 있는 버전을 계속 올리고 있었어요. 좋은 쪽 첫 컷을 알았으면 그걸로 다음 제작을 했을 텐데, 결과 확인이 늦어서 그동안 만든 영상에 계속 뒤처지는 컷이 들어갔습니다. 지는 버전을 방치하는 것 자체가 손해라서, 판단 기준을 코드에 박아 자동으로 끊게 만든 게 지금 구조입니다.

지표 수집과 비교 판단을 자동으로 돌리는 구조
저는 원클립AI에서 무인 크론으로 서비스를 굴리는 게 일상이라(서버에만 크론이 70개 돌고 있다), 이 파이프라인도 같은 방식으로 짰습니다.
크론으로 1시간 단위 지표 긁어오기
전체 흐름은 텍스트로 그리면 이렇습니다.
[크론: 매시간]
지표 API로 A/B 두 영상의 조회수·시청지표 수집
↓
DB에 시계열로 적재
↓
[비교 로직]
3시간 이상 격차 유지 + 격차 배율 조건 충족?
↓
예 → 승자 확정 → 알림 발송, 다음 테스트 준비
아니오 → 24시간까지 대기 → 무승부 처리 → 알림
수집은 유튜브 데이터 API로 영상별 통계를 가져오고, 시간당 증분을 DB에 쌓습니다. 시점별 증분이 있어야 “몇 시부터 벌어졌나”가 보여요.
비교 로직: 승자 확정 조건을 코드에 어떻게 박는가
핵심은 사람의 판단 기준을 조건문으로 옮기는 겁니다. 슈도코드로 쓰면 이 정도입니다.
if (경과시간 >= 3시간 && 누적조회A > 누적조회B * 1.5) {
승자 = A;
} else if (경과시간 >= 24시간) {
승자 = (누적조회A > 누적조회B) ? A : B_또는_무승부;
}
배율 같은 숫자는 채널 트래픽 규모에 따라 조정해야 합니다. 저는 트래픽이 어느 정도 있는 채널 기준으로 잡았는데, 트래픽이 작으면 배율 조건은 빼고 그냥 방향만 봐야 해요.
결과 알림과 리포트: 매번 들여다보지 않는 설계
승자가 확정되면 메시지로 한 줄 옵니다. “cs0042 테스트 승자 A, 3시간 시점 격차 확정” 식으로요. 무승부도 알림이 옵니다. 알림만 보고 다음 테스트에 들어가니 매시간 데이터를 들여다볼 일이 없어졌어요. 이게 자동화의 실질적 이득입니다. 시간이 아니라 주의력을 아끼는 거.

썸네일 후보를 여러 개 자동으로 만들기
본영상에서 후보 프레임 추출하기
첫 컷 후보는 본영상에서 프레임을 뽑아 만듭니다. ffmpeg로 지정 초의 프레임을 이미지로 빼고, 인물 클로즈업·텍스트 강조 컷 같은 변형을 붙이는 식이에요.
이미지 AI로 변형 생성: 복사 가능한 프롬프트
변형은 이미지 AI로 돌립니다. 제가 쓰는 프롬프트 형태입니다.
이 이미지를 세로 숏폼 첫 화면용으로 재구성해줘. 주제를 한눈에 알 수 있는 큰 텍스트 오버레이를 넣고, 인물 시선은 카메라를 향하게. 색 대비를 높여서 피드에서 멈추게 만드는 구도로.
후보가 10개일 때 전부 테스트하면 안 되는 이유
여기서도 삽질했습니다. 후보를 한 번에 여덟 개쯤 뽑아놓고 전부 테스트하려다가, 테스트 하나에 위 표 기준으로 시간이 드니까 뒤에 후보가 다 밀렸어요. 결과적으로 테스트는 늘어지고 판단은 안 나고, 비용만 썼습니다. 지금은 퍼널 구조로 바꿨습니다. 후보를 여러 개 뽑되, 제 기준으로 상위 2개만 골라 A/B에 올리고 나머지는 폐기해요. 후보 10개를 전부 검증하려는 순간 테스트 자체가 본업이 됩니다.

테스트로 알게 된 걸 다음 영상에 되먹임하기
테스트는 승자를 뽑는 걸로 끝이 아닙니다. 승리한 첫 프레임에는 이유가 있는데, 그걸 누적 기록으로 안 남기면 다음 제작 때 또 감으로 고르게 돼요.
승리한 첫 프레임의 공통 패턴을 누적 기록으로 남기기
제 기록 시트는 이렇게 생겼습니다.
| 날짜 | 콘텐츠 | 승자 컷 유형 | 패턴 메모 |
|---|---|---|---|
| 기록일 | 콘텐츠ID | 인물 클로즈업 / 텍스트 강조 / 결과 미리보기 | 예: 결과 장면을 먼저 보여준 컷이 이김 |
제작 단계에서 반영하는 방법: 기획서에 테스트 결과 넣기
기획 단계에서 이 시트를 펴고 최근 이긴 컷 유형을 기획서 첫 줄에 박습니다. “첫 컷은 결과 미리보기로 시작” 이렇게요. 이전엔 결과를 기록만 하고 제작에 안 써서, 같은 실수를 반복했습니다. 기록과 제작 사이에 이 한 줄 연결고리가 없으면 테스트가 그냥 관찰로 끝나요.
한 달 단위로 내 채널의 썸네일 문법 정리하기
월말에 시트를 훑으면서 “이 채널은 이런 컷이 잘 먹는다”는 문법을 한 줄로 갱신합니다. 채널마다 문법이 달라서 타 채널 성공 사례를 그대로 베끼는 건 잘 안 통했어요.
한계와 정리: 이 방법이 안 통하는 경우와 오늘 할 일
과장 없이 경계 조건부터 적습니다. 트래픽이 너무 적은 채널에서는 이 테스트 자체가 무의미해요. 두 버전의 조회수가 다 한 자릿수면 격차를 읽을 수가 없습니다. 그런 구간에서는 썸네일 테스트보다 콘텐츠 자체의 노출을 늘리는 게 먼저입니다. 구독자 기반으로 도는 채널도 마찬가지예요. 신규 시청자 유입이 적으면 첫 프레임의 효과가 측정이 안 돼요. 그리고 이미 페이드아웃된 영상을 다시 올리는 테스트는 저는 안 합니다. 플랫폼이 같은 콘텐츠 재노출을 꺼리는 느낌이 있어서 결과가 왜곡되거든요.
오늘 당장 시작하려면 이 순서면 됩니다.
- 이미 올라간 영상 하나 골라 첫 컷만 다른 버전 하나 더 만들기
- 같은 요일 같은 시간에 올리고, 1시간·3시간·24시간 조회수를 수동으로 찍어보기
- 자동화는 그 다음. 수동으로 한 바퀴 돌려보면 크론에 뭘 박아야 할지 보입니다
저는 이 루프를 자동 렌더 파이프라인에 붙여서 돌리고 있는데, 첫 프레임 후보를 뽑는 과정은 OneClip 쪽 제작 흐름에서 자연스럽게 붙었습니다. 감으로 고르는 날은 끝내고 싶어서 만든 구조인데, 확실히 조용해집니다. 결과가 좋든 나쁜든 숫자가 대신 말해주니까요.
출처와 근거 자료
혼자 자동화로 서비스를 굴리는 아일리고입니다. 숏폼 영상은 제가 만든 ClipSquare 로 뽑습니다.
궁금해할 만한 것들
숏폼은 썸네일 업로드가 없는데 A/B 테스트는 무엇을 비교하나요?
숏폼의 썸네일은 첫 프레임, 즉 0.1초짜리 첫 컷입니다. 그래서 본영상은 프레임 단위로 같게 두고 첫 컷만 다른 버전 2개를 만들어 비교합니다. 일반 유튜브 영상의 썸네일 테스트 방식을 그대로 가져오면 성립하지 않아요.
숏폼 A/B 테스트는 두 버전을 언제 올려야 공정한가요?
같은 요일, 같은 시간대에 올려야 합니다. 저는 A버전을 화요일 저녁에, B버전을 다음 주 화요일 같은 시간에 올립니다. 같은 날 연달아 올리면 같은 채널의 비슷한 영상이 서로 트래픽을 잡아먹는 느낌이 있어서 간격을 둡니다.
숏폼 A/B 테스트 결과는 조회수 몇, 언제까지 기다려야 확정할 수 있나요?
숏폼 트래픽은 분포가 들쭉날쭉해서 학술적 표본 수 기준은 잘 안 맞습니다. 실무 기준으로는 1~2시간은 격차 방향만 참고하고, 3~6시간에 격차 유지 여부를 보고, 24시간에 승자를 확정하거나 무승부로 처리합니다. 초반 격차가 하루 종일 뒤집히는 경우는 드물어요.
