자동화 재시도 세팅하는 실제 순서

Pipedeck 실제 화면

작성자

카테고리:

매번 손으로 다시 돌리는 자동화, 재시도 세팅 하나면 된다

새벽에 돌아가는 크론 자동화가 실패해서 아침에 일어나 화면을 봤더니 에러 로그만 남아 있고 결과물은 없는 날이 있다. 커피도 안 마셨는데 수동으로 재실행 버튼부터 누르고 시작하는 거다. 저한테 이게 한두 번이 아니어서, 자동화 실패 시 재시도 세팅하는 방법을 정리해 뒀다. 근데 결론부터 말하면 재시도는 버튼 켜는 게 아니다. 설계다. 잘못 켜면 두 번 실행되고, 크레딧은 새고, 그걸 또 사람이 감시하게 된다.

재시도 세팅 전에 반드시 정해야 할 것: 종착점

저는 재시도 세팅을 손대기 전에 “이 자동화가 끝끝내 실패하면 어디에 멈추고 누구한테 알리지”부터 정합니다. 종착점이 없는 재시도는 그냥 늦게 오는 사고다. 지금 서버에 크론이 70개 돌고 있는데, 이게 전부 재시도 없이 막 굴러가면 저는 아침마다 로그 도령 노릇을 해야 한다.

이 글에서 만들 목표: 잊고 살 수 있는 자동화

목표는 하나입니다. 실패해도 알아서 몇 번 시도해 보고, 안 되면 제 텔레그램으로 한 줄 오고, 거기서 멈추는 것. 그 외의 시간에는 저는 그 자동화의 존재를 잊고 삽니다.

재시도는 몇 번, 어떤 간격이 안전한가: 운영 기준값

기본값: 3회, 5분 간격, 지수 백오프

제 기본값은 최대 3회, 첫 재시도는 실패 후 5분 뒤, 그다음은 간격을 두 배씩 늘리는 지수 백오프입니다. 첫 재시도를 5분 뒤로 미룬 이유는 관찰 때문이에요. 외부 API나 네트워크 문제로 실패한 작업은 대부분 몇 분 안에 저절로 회복되더라고요. 그런데 10초 만에 다시 시도하면 아직 안 풀린 상태라 또 실패하고, 횟수만 소모합니다. 기다렸다 치는 게 초반 한 번이면 충분하더라.

간격을 잘못 잡으면 생기는 일: API 한도와 레이스

간격을 짧게 잡으면 API 요청 한도에 걸려서 오히려 실패가 늘어나는 악순환이 생깁니다. 재시도가 원인이 되어 또 재시도를 부르는 거지. 도구마다 기본 재시도 값이 달라서, 기본값을 그대로 믿지 말고 세팅 화면에서 최대 횟수와 간격을 직접 확인하는 습관을 들였습니다. n8n이나 Make 같은 도구는 재시도 토글이 켜져 있는지조차 모르고 쓰는 경우가 많더라고요.

가장 무서운 건 실패가 아니라 두 번 실행이다

중복 실행이 생기는 구조: 성공했는데 응답을 못 받은 경우

제일 골치 아픈 케이스는 이겁니다. 상대 서버는 요청을 받아서 처리를 했는데, 응답이 타임아웃으로 끊겼어요. 그러면 내 쪽 기록은 ‘실패’. 재시도 로직이 다시 요청을 보내고, 상대는 같은 작업을 두 번 수행한다. 이메일이 두 번 가고, 데이터가 두 줄 들어가고. 실패가 아니라 성공을 실패로 오해한 게 진짜 원인인 거죠.

멱등성 키와 실행 잠금으로 막는 법

두 가지로 막습니다. 하나는 멱등성 키. 요청마다 고유한 키를 붙여서 상대 서버가 같은 키의 재요청을 무시하게 하는 기능인데, 지원하는 API면 쓰는 수밖에 없어요. 다른 하나는 실행 잠금. 자동화 시작 시점에 “이 작업, 오늘 이 키로 이미 실행됐는가”를 저장소에서 확인하고 있으면 즉시 종료하는 겁니다. 저는 숏폼 파이프라인에 이 dedup 체크를 넣어 두는데, 하루에 여러 번 크론이 겹치게 돌아가는 구조라면 없으면 곤란합니다.

결제·발송처럼 되돌릴 수 없는 작업의 처리 순서

되돌릴 수 없는 작업은 실행 직전에 딱 한 번 더 확인 지점을 둡니다. 잠금 확인, 실행, 기록 순서를 지키는 거예요. 기록을 나중에 몰아서 하면 그 사이에 재시도가 끼어들 틈이 생깁니다. 아슬아슬하게 막은 기억이 있어요. 발송 스텝 직전에 잠금 체크를 넣었더니, 타임아웃으로 재시도된 실행이 거기서 걸려서 조용히 종료됐습니다. 체크가 없었으면 같은 콘텐츠가 두 벌 나갔을 거예요.

Pipedeck 실제 화면

무한 재시도는 비용 폭증으로 끝난다: 상한과 종착점

크레딧이 새는 구조

재시도 제한을 안 걸어 두고 잤다가 다음 날 크레딧이 줄어 있는 걸 발견한 적이 있다. 실패한 작업이 밤새 계속 재시도하면서 호출 비용만 축내고 있었어요. 크레딧이 새는 구조는 대충 이렇습니다. 설정 오류인데 계속 재시도하고, 재시도할 때마다 유료 API를 다시 호출하고, 여러 크론이 같은 문제를 동시에 재시도합니다. 하나만 해도 아픈데 겹치면 곱해집니다.

최대 재시도 수 + 실패 대기열 설계

그래서 원칙은 단순합니다. 최대 재시도 수를 정해 두고, 그걸 소진하면 재시도를 멈추고 실패 항목을 별도 대기열에 쌓는다. 이 대기열이 종착점이에요. 흔히 데드레터 큐라고 부르는 방식인데, 거창한 도구가 아니라 실패 건을 스프레드시트나 디비 테이블에 기록해 두는 것만으로도 시작할 수 있어요. 저는 여기에 텔레그램 알림 한 줄을 붙입니다. “몇 시 몇 분 작업, 3회 재시도 후 실패, 원인 이것”까지 같이.

비용 상한 알림 세팅

재시도 세팅과 별개로, 사용하는 API 콘솔에 예산 알림을 켜 두세요. 자동화 쪽 세팅을 아무리 잘해도 놓치는 순간이 있으니, 지갑 쪽에서도 한 겹 걸어 두는 겁니다.

Pipedeck 실제 화면

재시도하면 안 되는 실패가 따로 있다: 원인별 판정표

401 에러가 났는데 재시도로 버텨 본 적이 있다. 키가 만료된 거라 몇 번을 다시 시도해도 똑같았고, 그 사이 며칠치 결과물이 비었어요. 인증 문제는 기다림으로 풀리지 않습니다. 그때부터 원인별로 판정을 하게 됐습니다.

에러 종류 예시 재시도 여부
일시적 오류 타임아웃, 502, 503, 네트워크 끊김 함 (백오프로)
설정 오류 401, 403, 키 만료, 잘못된 엔드포인트 금지, 바로 알림
데이터 문제 400, 입력값 형식 오류, 빈 파일 금지, 데이터 수정 필요
요청 한도 429 간격 늘려서만 재시도

재시도 금지 실패를 세 가지로 압축하면 인증 문제, 스키마가 바뀐 문제, 데이터 자체가 잘못된 문제입니다. 셋 다 몇 번을 반복해도 같은 답이 나와요.

원인 기록 습관: 실패 로그를 남겨야 다음 판정이 빨라진다

실패할 때마다 에러 코드랑 응답 본문을 로그로 남깁니다. 이게 쌓이면 “아 이 패턴은 재시도해 봤자야”가 체로 걸러지는 수준이 되더라고요. 원인을 모르면 모든 실패에 재시도를 걸 수밖에 없고, 그게 비용 새는 구조의 시작입니다.

Pipedeck 실제 화면

어디까지 자동이고 어디서부터 사람인가: 알림과 개입 기준

자동 재시도의 끝: 3회 실패 후 알림

제 경계선은 명확합니다. 일시적 오류로 판정된 실패만 자동 재시도. 3회 소진하면 자동은 거기서 끝내고 알림. 이후는 사람이 판단합니다. 이 원칙 하나로 무인 운영이 되는데, 알림 없는 자동화는 무인 운영이 아니라 방치예요.

알림은 텔레그램 한 채널로 통일

알림 채널을 여러 개 두면 놓칩니다. 저는 전부 텔레그램 하나로 모아요. 대신 알림 내용에 서비스 이름이랑 실패 원인 요약을 넣어서, 폰으로 훑기만 해도 어느 놈이 왜 죽었는지 알게 합니다. 알림이 하루에 수십 개 오면 사람이 둔감해지니, 정상 작동 알림은 끄고 실패 알림만 남기는 것도 중요했습니다.

사람이 개입할 때 확인하는 것

  • 실패 로그의 에러 코드가 재시도 금지 유형인지
  • 같은 작업이 실제로 한 번만 실행됐는지 (중복 확인)
  • 고치고 수동으로 다시 돌릴 때 잠금 키가 안 걸리는지

셋째를 자주 잊습니다. 실패한 작업을 고쳐서 수동 재실행하면 예전 실패 기록 때문에 잠금에 걸려서 안 돌아가는 경우가 있거든요. 그럴 땐 잠금 기록을 지우고 돌립니다.

마무리: 잊고 살 수 있는 자동화 체크리스트

제가 세팅 직후 1주일 동안 보는 점검표입니다.

  • 최대 재시도 수가 정해져 있고, 무한이 아닌가
  • 재시도 간격이 백오프로 늘어나는가
  • 되돌릴 수 없는 작업 앞에 중복 실행 체크가 있는가
  • 재시도 소진 후 실패가 대기열에 쌓이는가
  • 실패 알림이 텔레그램 한 채널로 오는가

이 다섯 개가 다 켜져 있으면 그 자동화는 잊고 살아도 됩니다. 지금 3분 만에 할 수 있는 첫 걸음은 딱 하나예요. 돌아가고 있는 자동화 하나 골라서 최대 재시도 수가 몇으로 돼 있는지 세팅 화면을 여는 것. 의외로 무한으로 돼 있거나, 아예 재시도가 꺼져 있거나, 둘 중 하나입니다. 저도 이 블로그를 채우는 자동 파이프라인에 같은 점검을 돌렸고, 다른 서비스 운영 이야기는 wallenstein.dev에 모아 뒀습니다.


글쓴이 정보

혼자 자동화로 서비스를 굴리는 아일리고입니다. 숏폼 영상은 제가 만든 ClipSquare 로 뽑습니다.

자주 나오는 질문

자동화 재시도는 몇 회, 어떤 간격으로 세팅하는 게 안전한가요?

기본값은 최대 3회에 첫 재시도를 실패 후 5분 뒤로 잡고, 그다음은 간격을 두 배씩 늘리는 지수 백오프가 무난합니다. 외부 API나 네트워크 문제는 대부분 몇 분 안에 저절로 회복되기 때문에, 10초 만에 다시 시도하면 횟수만 소모합니다.

자동화가 성공했는데도 두 번 실행되는 이유는 뭔가요?

상대 서버는 요청을 처리했는데 응답이 타임아웃으로 끊기면 내 쪽 기록은 실패로 남고, 재시도가 같은 작업을 한 번 더 보내는 구조 때문입니다. 멱등성 키나 실행 잠금으로 같은 키의 재요청은 무시하거나 즉시 종료하게 만들어야 막을 수 있습니다.

재시도하면 안 되는 에러는 어떤 건가요?

401, 403처럼 인증·권한 문제는 몇 번 다시 시도해도 똑같이 실패합니다. 재시도는 타임아웃, 502, 503 같은 일시적 오류에만 쓰고, 설정 오류는 바로 알림을 보내는 편이 낫습니다.