자동화 동기로 돌리면 30초 만에 웹훅이 끊깁니다

모션팩토리 실제 화면

작성자

카테고리:

자동화 동기로 돌리면 30초 만에 웹훅이 끊깁니다

원클립AI에서 영상 생성 자동화를 처음 짤 때, Make에서 웹훅을 받고 영상이 완성될 때까지 그 자리에서 기다리게 했다. AI 영상 생성이 8분 걸리니까 8분 뒤에 응답을 주겠지, 식으로 생각한 거다.

결과는 30초 만에 웹훅이 끊겼다. Make 웹훅 노드가 타임아웃을 뱉고 파이프라인이 거기서 멈춰버렸다. 영상은 백그라운드에서 잘 만들어지고 있었는데, 자동화는 이미 죽어 있었다. 응답이 안 와서 재시도를 때리고, 그러면 같은 영상 생성 요청이 또 들어가고. 엉망이 됐다.

왜 자동화 파이프라인에서 무거운 작업을 기다리면 안 되는가

Make도 N8n도 웹훅 응답에 타임아웃이 있다. 보통 30초다. 이 30초 안에 응답을 주지 못하면 자동화 툴은 응답 없음으로 간주하고 연결을 끊는다.

동기로 기다리면 연쇄 장애가 생긴다. 첫 요청이 타임아웃 나면 자동화 툴이 재시도를 한다. 그 사이 백그라운드 작업은 계속 돌고 있으니까 같은 요청이 두 번 세 번 들어간다. 서버 부하가 누적되고, 자동화 툴의 실행 큐도 막힌다. 하나가 터지면 줄줄이 지연되는 구조다.

내가 운영하는 숏폼 자동 제작 파이프라인에서 최근 30일에 작업 폴더가 253개 쌓였다. 이 규모에서 동기 대기를 섞으면 하루에도 몇 번씩 끊긴다.

트리거에서 즉시 빠져나오게 짜는 법

해결책은 단순하다. 웹훅을 받자마자 작업 레코드를 DB에 만들고 200 OK를 바로 돌려준다. 영상 생성은 나중에 백그라운드에서 처리한다.

흐름은 이렇다.

  1. 웹훅 수신 → DB에 작업 레코드 생성 (상태: queued)
  2. 즉시 200 OK + 작업 ID 반환
  3. 자동화 툴은 응답을 받고 종료
  4. 별도 프로세스가 queued 작업을 꺼내서 실행

Make에서 HTTP 응답 노드를 작업 생성 직후로 옮기면 된다. N8n도 마찬가지다. Respond to Webhook 노드를 가능한 한 앞쪽에 배치하면 웹훅이 끊기지 않는다.

모션팩토리 홍보 영상의 한 장면

Redis 없이 1인 빌더 수준에서 큐를 만드는 단순 방법

보통 큐라고 하면 Redis를 떠올리지만, 1인 빌더가 Redis 서버를 띄워놓고 관리하는 건 비용이든 시간이든 부담이다. 클라우드 Redis를 쓰면 매월 고정 비용이 나가고, 서버에 직접 올리면 모니터링과 장애 대응을 혼자 다 해야 한다.

대신 Supabase 테이블 하나로 큐를 만들었다. 상태 필드가 있는 테이블이면 충분하다.

CREATE TABLE job_queue (
  id UUID PRIMARY KEY DEFAULT gen_random_uuid(),
  status TEXT DEFAULT 'queued',
  retry_count INT DEFAULT 0,
  payload JSONB,
  result JSONB,
  created_at TIMESTAMPTZ DEFAULT now(),
  updated_at TIMESTAMPTZ DEFAULT now()
);

Cron이 1분마다 돌면서 queued 상태인 레코드를 찾아 processing으로 바꾸고 작업을 실행한다. 상태는 queued, processing, done, failed 4개로 관리한다.

2026년 10월 6일 기준으로 크론이 서버에 70개, 노트북에 9개 돌고 있다. 이 큐 처리 크론도 그 중 하나다. Redis를 안 쓰는 대신 DB 커넥션과 폴링 비용이 들어가지만, Supabase 프리 티어 안에서 감당 가능한 수준이다.

모션팩토리 홍보 영상의 한 장면

백그라운드 작업이 끝났는지 확인하는 방법

작업이 끝났는지 확인하는 방법은 두 가지다. 폴링과 콜백 웹훅.

폴링은 프론트나 자동화 툴에서 5초 간격으로 상태를 확인하는 거다. 구현이 단순하다. 작업 ID로 상태를 물어보고 done이면 결과를 가져간다. 단점은 불필요한 요청이 늘어난다는 거다.

콜백 웹훅은 작업이 끝났을 때 지정된 URL로 결과를 밀어주는 방식이다. 폴링보다 깔끔하지만, 받는 쪽에 웹훅 엔드포인트가 있어야 한다.

1인 빌더 입장에서는 폴링이 더 쉽다. 콜백 엔드포인트를 따로 만들 필요 없으니까. Make나 N8n에서 HTTP 요청 노드를 5초 간격으로 돌려서 상태만 체크하면 끝이다.

모션팩토리 홍보 영상의 한 장면

실패 시 원래 상태로 되돌리거나 재시도하는 세팅

작업이 실패하면 status를 failed로 바꾸고 retry_count를 1 올린다. retry_count가 3 미만이면 status를 다시 queued로 되돌린다. 그러면 다음 크론 사이클에서 자동으로 재시도된다.

UPDATE job_queue
SET status = CASE
  WHEN retry_count < 3 THEN 'queued'
  ELSE 'failed'
END,
retry_count = retry_count + 1,
updated_at = now()
WHERE id = :job_id;

영상 생성은 롤백이라는 게 없다. 중간에 실패하면 처음부터 다시 만드는 수밖에 없다. 그래서 롤백 대신 재시도로 처리한다.

retry_count가 3에 도달하면 디스코드로 알림을 보내게 해놨다. 내가 직접 로그를 보고 판단해야 하는 상황이다. 자동화가 전부 알아서 하면 좋겠지만, 막히는 지점은 사람이 끼어들게 해둬야 한다.

한계와 정리: 이 패턴이 통하지 않는 순간

DB 기반 큐에도 한계가 있다. 동시에 100개 이상 작업이 몰리면 DB 커넥션이 부족해진다. 상태를 바꾸는 UPDATE 쿼리가 서로 충돌하고, 처리 속도가 급격히 떨어진다.

언제 Redis나 전용 큐 서비스로 넘어가야 하느냐. 내 기준으로는 동시에 50개 이상의 작업이 큐에 쌓이기 시작할 때다. 그 전까지는 DB 테이블 하나로 충분히 버틴다. 1인 빌더가 감당해야 할 인프라 복잡도를 최소한으로 유지하는 게 더 의미 있다.

이 패턴으로 지금 숏폼 자동 제작 파이프라인을 굴리고 있다. 최근 30일에 유튜브 쇼츠용 자동 렌더 영상이 39편 만들어졌다. 동기로 돌렸다면 하루에도 서너 번은 끊겼을 거다.


글쓴이 정보

혼자 자동화로 서비스를 굴리는 아일리고입니다. 숏폼 영상은 제가 만든 ClipSquare 로 뽑습니다.

궁금해할 만한 것들

Make나 n8n에서 웹훅이 30초 만에 끊기는 이유는 뭔가요?

Make와 N8n 웹훅 노드는 보통 30초 타임아웃이 걸려 있습니다. 그 시간 안에 응답을 주지 못하면 자동화 툴이 응답 없음으로 간주하고 연결을 끊어버리기 때문입니다. 무거운 작업을 동기로 기다리게 세팅하면 무조건 이 문제가 발생합니다.

웹훅이 끊기지 않게 백그라운드로 작업을 넘기려면 어떻게 짜야 하나요?

웹훅을 받자마자 DB에 작업 레코드를 생성하고 200 OK 응답을 즉시 반환해야 합니다. 이후 별도의 프로세스나 크론이 큐에 쌓인 작업을 꺼내서 백그라운드에서 처리하는 구조로 파이프라인을 바꿔야 합니다.

Redis 없이 1인 개발자가 쓸 만한 큐 대체재가 있나요?

Supabase 같은 관계형 데이터베이스에 상태(queued, processing 등) 필드가 있는 테이블 하나를 만들면 충분히 큐 역할을 할 수 있습니다. 1분마다 크론을 돌려 상태를 업데이트하며 작업을 처리하면 서버 관리 부담 없이 안정적으로 동작합니다.

백그라운드에서 작업이 끝났는지 어떻게 확인하나요?

자동화 툴에서 5초 간격으로 DB 상태를 폴링(Polling)하는 방식이 구현이 가장 단순합니다. 아니면 작업 완료 시 결과를 지정된 URL로 밀어주는 콜백 웹훅을 쓸 수도 있는데, 1인 빌더라면 별도 엔드포인트를 만들 필요 없는 폴링이 훨씬 쉽습니다.