자동화 실패 알림 없으면 3일 날립니다

Pipedeck 실제 화면

작성자

카테고리:

자동화 실패 알림 없으면 3일 날립니다: 같은 실수를 한 이야기

크론잡이 죽으면 에러 메시지 같은 건 안 옵니다. 그냥 조용해집니다. 저는 이걸 몸으로 배웠어요. 어느 날 서버에 들어가 보니 블로그 자동 파이프라인의 토큰이 만료된 뒤로 크론이 며칠째 아무것도 안 하고 있었어요. 로그엔 에러가 쌓여 있었는데, 로그를 직접 열어 볼 사람이 없으니까요. 저밖에 없는데 저는 몰랐습니다.

지금 제 서버엔 크론이 70개, 노트북에 9개 돌고 있습니다(2026년 10월 6일 기준). 이 많은 걸 하나하나 들여다볼 수는 없어요. 실패를 ‘즉시’ 아는 사람과 ‘들어가 보고 나서’ 아는 사람의 차이는 실력이 아니라 세팅입니다. 자동화 실패 알림 세팅 방법을 검색해서 들어오신 거라면, 아마 지금 그 불안하신 상태를 아실 겁니다. 오늘 그걸 30분 안에 끝내는 순서를 정리해 봤습니다.

조용히 죽은 자동화는 에러도 없다

자동화 오류 감지의 어려운 점은, 실패가 대부분 ‘소리 없이’ 일어난다는 겁니다. 토큰 만료, 디스크 가득 참, API 응답 형식이 바뀜. 프로세스는 살아 있는데 결과물이 안 나오는 죽음도 있어요. 이걸 로그로 뒤늦게 발견하는 순간 이미 며칠치 작업이 날아간 뒤입니다.

자동화가 실패했는지 즉시 아는 방법 셋

실패 시점에 알림 보내기 (기본)

크론잡 실패 시 catch 블록에서 텔레그램이나 슬랙으로 메시지를 쏘는 겁니다. 가장 기본이고 가장 먼저 해야 하는 세팅이에요.

성공 알림이 안 오면 문제다: 허트비트 패턴

여기가 제가 삽질한 지점입니다. SaaS 하나를 운영하면서 실패 알림만 걸어 뒀는데, 어느 날 알림 코드 자체가 죽었더라고요. 실패해도 알림을 못 보내는 상황. 실패 알림은 ‘보내는 주체가 살아 있어야’ 작동하는데, 그 가정이 깨지면 아무 소용이 없습니다.

그래서 도입한 게 허트비트입니다. 자동화가 성공할 때마다 ‘나 살아 있음’ 신호를 보내고, 이 신호가 정해진 시간 안에 안 오면 별도의 감시 크론이 저한테 알림을 보냅니다. 감시하는 크론이 죽으면? 그건 매일 오는 상태 요약에서 걸립니다.

매일 1회 상태 요약 알림 (데일리 리포트)

하루에 한 번, 어제 몇 개 성공했고 몇 개 실패했는지만 짧게 보내는 겁니다. 이 리포트가 오지 않는 날이 바로 감시 체계 자체가 죽은 날이에요. 저는 이 리포트로 블로그 파이프라인 상태를 매일 아침 확인합니다.

오늘 30분, 비용 0원으로 텔레그램/슬랙 알림 세팅하기

텔레그램 봇 토큰·채팅 ID 발급부터 전송 테스트까지

텔레그램에서 BotFather와 대화하면 봇을 만들고 토큰을 받습니다. 그다음 getUpdates로 채팅 ID를 확인하면 끝. 테스트는 curl 한 줄이면 됩니다.

curl -s "https://api.telegram.org/bot<토큰>/sendMessage" \
  -d chat_id="<채팅ID>" \
  -d text="자동화 알림 테스트"

실제로 제가 쓰는 실패 알림 포맷은 이렇습니다. 서비스명, 단계명, 에러 메시지 원문, 로그 파일 경로. 에러 원문을 통째로 넣는 게 중요해요. 알림 보고 서버에 들어가서 다시 로그를 찾으려면 그 시간이 아깝습니다.

[실패] ClipSquare 파이프라인 / 단계: 업로드 / 에러: token expired / 로그: /var/log/cs/run.log

슬랙 Incoming Webhook 한 클릭 세팅

슬랙 앱 디렉터리에서 Incoming Webhook을 추가하고 채널 하나 지정하면 URL이 나옵니다. 그 URL에 JSON을 POST하면 끝.

curl -s -X POST <웹훅URL> \
  -H 'Content-type: application/json' \
  -d '{"text":"[실패] 파이프라인 중단: token expired"}'

이메일 알림은 언제 쓰는 게 맞나

이메일은 즉시성이 떨어져서 실패 알림용으로는 못 쓰겠더라고요. 대신 매일 오는 상태 요약 리포트는 이메일로 받습니다. 하루에 한 번 편하게 읽는 용도라 괜찮아요.

Pipedeck 실제 화면

무엇에 알림을 걸고, 무엇을 걸지 말아야 하나

제가 초반에 저지른 실수는 모든 자동화에 알림을 다 건 겁니다. 2주쯤 지나니 폰이 알림으로 더러워졌고, 어느 순간부터 전부 무시하게 됐어요. 알림 피로가 오면 진짜 중요한 알림도 같이 죽습니다. 그래서 기준을 정리했습니다.

등급 대상 알림 방식
즉시 서비스 운영에 직결되는 것 (ClipSquare 업로드, 상권레이다 갱신 등) 실패 즉시 텔레그램
하루 요약 블로그 초안 생성, 이미지 수집 같은 배치 작업 데일리 리포트에 성공/실패 건수만
무시 실패해도 다음 실행에서 자연히 복구되는 것 로그만 남김

30초 판별 체크리스트

  • 이게 3일간 죽어 있으면 손해인가? 아니면 다음 실행 때 자연 복구되는가
  • 실패 원인을 내가 지금 당장 고칠 수 있는가
  • 둘 다 아니면 즉시 알림은 빼고 요약으로

알림 무뎌짐이 오는 순간과 대책

신호는 하나입니다. 알림을 보고도 열어 보지 않게 되는 날. 그때는 그 알림을 요약 등급으로 내리면 됩니다. 알림은 줄이는 게 아니라 계속 재분류하는 거예요.

자동화 실패를 모르는 개발자 모습

실패 후 재시도, 안전하게 돌리는 규칙

알림은 ‘아는 것’이고, 재시도는 ‘그다음’입니다. 예전에 재시도를 무한으로 걸어 뒀다가 일시적 API 오류가 나서 API 크레딧을 통째로 태운 적이 있어요. 그 뒤로는 세 가지 규칙을 지킵니다.

최대 3회 + 점증 간격으로 무한 재시도 막기

for attempt in range(3):
    try:
        run()
        break
    except Exception as e:
        notify_fail(e)
        time.sleep(60 * (2 ** attempt))  # 1분, 2분, 4분

중복 실행 방지: 멱등성 플래그 한 줄

재시도하다 보면 같은 작업이 두 번 돌 수 있습니다. 작업 시작 전에 마커 파일이나 DB 플래그를 확인하고, 끝나면 남기는 걸 한 줄 넣어 두면 중복 실행을 막을 수 있어요. 블로그 파이프라인은 이 플래그로 같은 글이 두 번 공개되는 걸 막고 있습니다.

재시도 다 실패하면 멈추고 사람에게 넘기기

3회 실패했으면 그건 재시도로 안 푸는 문제입니다. 큐를 비우고 사람 손이 필요하다는 알림을 남기고 멈춥니다. 무한 재시도는 자원만 태우고 원인을 가려 줍니다.

텔레그램 슬랙 실패 알림 받기

세팅 직후 1주일 운영 가이드: 껐다 켰다 기록하기

세팅하고 끝이 아니라 일주일은 운영 일지를 적었습니다. 어떤 알림이 왔고, 그때 내가 뭘 했고, 필요했는지. 하루 이틀째는 잡음이 좀 있었고, 사흘째쯤 요약으로 내릴 알림들이 정리되더라고요. 주간으로는 알림 요약을 한 번 훑어서 ‘이번 주 즉시 알림 12건 중 열어 본 것 4건’ 같은 식으로 돌아봅니다. 열어 보지 않은 건 요약으로 내리는 후보입니다.

불필요한 알림 끊는 기준

  • 일주일 동안 한 번도 열어 보지 않은 즉시 알림은 요약으로 강등
  • 요약 리포트에서도 매번 성공만 하는 항목은 로그만 남기고 제외

요약: 오늘 할 일

지금 30분 순서입니다. 텔레그램 봇 만들고 토큰·채팅 ID 받기(10분). 제일 아픈 자동화 하나에 실패 알림 붙이기(10분). 마지막으로 허트비트용 감시 크론 하나 세팅하기(10분). 여기까지 하면 오늘 실패는 오늘 알게 됩니다.

자동화는 실패합니다. 그건 어쩔 수 없고, 실패해도 다시 아는 사람이 되는 게 목표예요. 제가 굴리는 서비스들과 운영 노트는 포트폴리오에, 자동 블로그 파이프라인 이야기는 OneClip 쪽 글에서 이어서 적어 뒀습니다.


글쓴이 정보

1인 빌더 아일리고가 씁니다. 잘된 것도 망한 것도 적습니다. 영상은 제가 만든 ClipSquare 에서 나옵니다.

자주 나오는 질문

자동화 실패 알림은 어떻게 세팅하나요?

크론잡이나 파이프라인의 catch 블록에서 실패 시 텔레그램 봇이나 슬랙 웹훅으로 메시지를 보내게 하면 됩니다. 텔레그램은 BotFather에서 토큰을 받고 getUpdates로 채팅 ID를 확인한 뒤 curl 한 줄로 테스트할 수 있고, 30분 안에 비용 0원으로 끝납니다.

실패 알림을 걸어뒀는데도 자동화가 죽은 걸 놓치는 이유는 뭔가요?

실패 알림을 보내는 코드 자체가 죽으면 알림도 안 오기 때문입니다. 그래서 성공할 때마다 ‘살아 있음’ 신호를 보내는 허트비트 패턴과, 매일 한 번 오는 상태 요약 리포트를 함께 걸어야 감시 체계가 죽은 날도 걸립니다.

모든 자동화에 알림을 다 걸어야 하나요?

아니요, 전부 걸면 알림 피로가 와서 진짜 중요한 알림까지 무시하게 됩니다. 3일간 죽어 있으면 손해인 것만 즉시 알림, 배치 작업은 데일리 요약, 다음 실행 때 자연 복구되는 건 로그만 남기는 식으로 등급을 나누는 게 좋습니다.