크론 실패 알림 없이 돌리면 며칠이 공백

Pipedeck 실제 화면

작성자

카테고리:

크론은 죽었는데 나만 몰랐다: 실패해도 에러가 안 보이는 이유

2026년 10월 6일 기준으로 서버에 크론이 70개, 노트북에 9개 돌고 있다. 이걸 관리하는 사람은 나 하나다. 그리고 얼마 전까지 이 70개 중 몇 개가 살아 있는지 나도 정확히 몰랐다.

로그가 /dev/null로 버려지는 기본 설정의 함정

크론은 출력을 어디로 보낼지 정해 주지 않으면 메일로 쏘거나 그냥 버린다. 그래서 사람들이 크론탭에 이렇게 쓴다.

0 6 * * * /home/aileego/run.sh >/dev/null 2>&1

조용하라고 버린 건데, 실패한 것까지 조용해진다. 출력을 버리면 크론은 조용히 죽는다. 이게 크론 모니터링의 출발점이다.

종료코드 0의 거짓 성공: 실패인데 성공이라고 보고하는 크론

더 나쁜 케이스가 있다. 스크립트가 실패했는데 종료코드 0으로 끝나는 경우다. 대표적인 원인이 파이프다.

curl -s https://example.com/api | jq '.items' > out.json

curl이 실패해도 파이프 마지막 명령인 jq가 정상 종료하면 스크립트 전체는 성공으로 보고된다. set -e를 넣어도 파이프 중간 실패는 못 잡는다(set -o pipefail을 같이 넣어야 잡힌다). || true로 에러를 삼킨 곳이 있다면 그 라인은 영원히 실패를 보고하지 않는다. 종료코드 감지는 “스크립트가 정직하게 실패를 보고할 때만” 작동한다는 걸 먼저 확인해야 한다.

나는 몇 주간 죽은 자동화를 모르고 있었다

서비스 홍보 영상을 하루 한 번씩 올리는 크론이 있었다. 어느 날 확인해 보니 채널이 한동안 멈춰 있었다. 로그를 열어 보니 크론탭에 >/dev/null 2>&1이 붙어 있었다. 실패는 매일 일어나고 있었는데 나는 “조용하니 잘 되겠지”라고 생각한 것. 그날 이후 로그는 파일로 남기고, 실패는 알림으로 오게 바꿨다.

실패와 미실행을 감지하는 두 가지 신호: 종료코드와 하트비트

종료코드 기반 감지: 스크립트가 실패를 제대로 보고하게 만드는 법

기본기다. 스크립트 맨 위에 이걸 넣는다.

#!/usr/bin/env bash
set -euo pipefail

-e는 실패 즉시 종료, -u는 미정의 변수 사용 시 실패, pipefail은 파이프 중간 실패까지 잡는다. 여기에 실패 시 알림을 보내는 한 줄을 스크립트 끝에 trap으로 걸어 두면 종료코드 기반 감지는 일단 끝난다.

하트비트(펭) 방식: 아무것도 안 올 때를 감지하는 구조

하트비트는 “작업이 살아 있으면 주기적으로 핑을 보내고, 핑이 안 오면 죽은 걸로 간주하는 구조”다. 데드맨스위치라고도 부른다. 종료코드 감지와 정반대를 본다. 종료코드는 “실행됐는데 실패한 경우”, 하트비트는 “실행 자체가 안 된 경우”를 잡는다.

둘 다 붙여야 하는 이유: 각각 놓치는 것

종료코드만 믿다가 서버 자체가 죽은 경우를 놓친 적이 있다. 서버가 내려가면 실패 코드조차 발생하지 않으니까. 종료코드 감지는 “실행된 실행파일”이 실패할 때만 반응한다. 반대로 하트비트만 쓰면 스크립트가 중간에 죽어도 마지막 펭 이전 구간의 실패는 구분이 안 된다. 그래서 나는 두 개를 다 붙인다. 스크립트 시작할 때 start 펭, 끝날 때 success 펭, trap에서 fail 펭.

Pipedeck 실제 화면

데드맨스위치 도구 선택과 붙이는 법

Healthchecks.io, Cronitor, 셀프호스팅: 고르는 기준

도구 특징 언제 맞나
Healthchecks.io 무료 티어 관대, 펭 URL 방식 단순 1인 운영, 잡 개수 많을 때
Cronitor 크론 스케줄 이해, 대시보드 정돈됨 유료 쓸 여유가 있고 팀에게 보여야 할 때
셀프호스팅(Healthchecks 오픈소스) 직접 굴림, 서버 장애 리스크는 내 몫 외부 서비스에 펭 URL을 못 노출할 때

내 기준은 셋이다. 펭 URL 방식인가(스크립트 수정이 한 줄이면 충분한가), 알림 채널이 내가 쓰는 채널을 지원하는가, 무료 티어에서 관리 개수가 부족하지 않은가. 나는 Healthchecks.io를 쓴다. 잡이 70개쯤 되는데도 무료 티어로 돌아간다.

크론 잡에 펭 붙이기: 실제 등록 예시

체크를 하나 만들면 펭 URL이 나온다. 스크립트에 이렇게 넣는다.

#!/usr/bin/env bash
set -euo pipefail
curl -fsS --retry 3 https://hc-ping.com/내-체크-uuid/start >/dev/null

# ... 실제 작업 ...

curl -fsS --retry 3 https://hc-ping.com/내-체크-uuid >/dev/null

실패 시에는 /fail을 붙인 URL로 보내면 된다. 이 흐름을 그대로 복사해서 쓰면 된다.

그레이스 기간은 작업 주기의 몇 배로 잡나

감각으로 잡는다. 하루 한 번짜리 잡이면 그레이스를 하루보다 넉넉히 잡아야 밤늦게 도는 변동을 오보로 잡지 않는다. 나는 하루 주기 잡에 그레이스를 이틀로 걸어 둔다. 렌더처럼 시간이 출렁이는 작업은 여유를 더 준다. 짧게 잡으면 거짓 경보가 쌓이고, 그 다음부터 알림을 무시하게 된다.

Pipedeck 실제 화면

알림은 어디로, 어떻게 보낼 것인가: 채널과 우선순위 설계

즉시 봐야 하는 알림 vs 하루 한 번 봐도 되는 알림

알림을 다 같은 급으로 보내면 안 된다. 나는 이렇게 나눈다.

등급 예시 채널
즉시 수익 직결 잡 실패, 펭 두 주기 연속 무음 텔레그램(휴대폰 진동)
오늘 중 일반 배치 실패, 재시도 후 회복 슬랙 채널
기록용 성공 요약, 저심도 경고 이메일 데일리 요약

슬랙·텔레그램·이메일: 채널별 특성과 조합

텔레그램은 휴대폰에 바로 오니까 긴급용, 슬랙은 앉아서 처리하는 작업용, 이메일은 안 봐도 되는 기록용. 조합 자체보다 “이 등급은 이 채널”이라는 약속을 지키는 게 중요하다.

알림이 너무 많아서 아무것도 안 보게 되는 순간

초반에 실패 알림을 전부 텔레그램으로 돌렸더니 하루에도 몇 번씩 울렸다. 대부분 재시도하면 회복되는 것들이었다. 일주일쯤 지나니 알림이 와도 화면만 끄고 있었다. 그때 채널을 재편했다. 재시도로 회복되는 건 슬랙으로, 두 번 연속 실패만 텔레그램으로 내리니까 텔레그램이 다시 “진짜 소리”가 됐다. 1인 운영자는 밤에 일어나서 고칠 수 없으니까, 밤 사이 실패는 아침 요약 한 번에 몰아서 보는 걸로 정했다. 죽은 잡은 하루 늦게 살아나도 대부분 괜찮다.

실패 시 자동 재시도: 어디까지 맡겨도 되는가

재시도가 안전한 작업과 위험한 작업: 멱등성 기준

기준은 멱등성 하나다. 같은 작업을 두 번 실행해도 결과가 같으면 재시도를 맡겨도 된다. 데이터 수집, 요약 생성, 썸네일 렌더는 대부분 멱등하다. 반대로 “외부로 뭘 보내는” 작업은 위험하다. 포스팅, 결제 트리거, 메일 발송. 이런 건 재시도가 중복 전송으로 이어질 수 있다.

재시도 횟수·간격 감각: 백오프의 실무 기본값

나는 실패 잡에 재시도를 붙이면 실패 알림도 같이 붙인다. 재시도는 최소한으로. 간격을 바로 다시 돌리지 않고 조금 벌려서 돌리는 걸로 잡는다. 외부 API가 잠깐 흔들린 거면 그 정도면 회복되고, 코드가 잘못된 거면 몇 번을 돌려도 똑같이 실패한다. 후자는 재시도로 해결되는 게 아니라 사람이 봐야 한다.

재시도 다 실패하면? 사람에게 넘기는 지점 설계

재시도 전부 실패 시에는 실패 펭을 쏘고 로그 파일 경로까지 알림에 실어 보낸다. 아침에 텔레그램을 열면 “뭐가, 왜, 로그는 어디에”가 한 줄에 보여야 한다. 그 지점부터는 사람의 몫이다.

멱등하지 않은 작업에 재시도를 걸어 두고 중복 처리가 일어난 적이 있다. 다행히 테스트 단계에서 발견했는데, 그 뒤로는 “보내는” 작업에는 성공 응답을 받은 경우에만 완료로 기록하는 가드를 넣었다. 재시도는 공짜가 아니다.

Pipedeck 실제 화면

따라 하면 끝: 크론 실패 알림 세팅 체크리스트와 오늘 할 일

5단계 세팅 체크리스트

  1. 출력 버리는 줄 지우기: 크론탭의 >/dev/null 2>&1을 제거하고 로그 파일로 남긴다.
  2. 스크립트 상단에 set -euo pipefail 넣기: 실패가 종료코드로 새어 나가게 만든다.
  3. 데드맨스위치 체크 만들고 펭 붙이기: start/success/fail 세 가지 펭을 스크립트에 넣는다.
  4. 그레이스 기간 잡기: 하루 주기 잡이면 이틀쯤. 거짓 경보가 안 나오는 선에서 가장 짧게.
  5. 알림 등급 나눠 채널 걸기: 즉시는 텔레그램, 오늘 중은 슬랙, 기록은 이메일.

주 5분 점검 루틴: 알림이 안 오는 것을 감지하기

알림 체계 자체가 죽는 경우도 있다. 그래서 나는 주 단위로 데드맨스위치 대시보드를 열어서 “마지막 펭 시각”이 전부 최신인지만 훑는다. 달력에 걸어 두고 하는 루틴이라 5분이면 끝난다. 자동화를 믿는 대신 주 5분은 손으로 확인한다. 그게 내 계산이다.

이 세팅이 필요 없는 크론도 있다

실패해도 다음 실행에서 자연히 회복되는 잡, 예를 들어 오늘 데이터를 못 모으면 내일 모으면 되는 수집류는 굳이 즉시 알림을 붙이지 않는다. 기록용 로그만 남긴다. 모든 잡에 텔레그램을 다는 순간 다시 알림 무시가 시작된다.

이 블로그 글도 크론이 만든 파이프라인으로 하루 3~4편씩 나오고 있다. 그 파이프라인에 붙인 펭과 알림 구조를 그대로 정리한 게 이 글이다. 운영 중인 자동화 전체가 궁금하면 포트폴리오(wallenstein.dev)에서 볼 수 있다.


글쓴이 정보

혼자 자동화로 서비스를 굴리는 아일리고입니다. 숏폼 영상은 제가 만든 ClipSquare 로 뽑습니다.

자주 묻는 질문

크론 작업이 실패했는데 왜 아무 알림도 안 오나요?

크론탭에 >/dev/null 2>&1을 붙이면 출력이 전부 버려져서 실패해도 조용히 지나가기 때문입니다. 로그를 파일로 남기고, 실패 시 펭 URL로 알림을 보내는 구조를 같이 붙여야 실패를 알 수 있습니다.

curl 실패했는데 왜 스크립트는 성공으로 끝나나요?

파이프의 마지막 명령인 jq가 정상 종료하면 스크립트 전체 종료코드가 0이 되기 때문입니다. set -e만으로는 파이프 중간 실패를 못 잡으니 set -o pipefail을 함께 넣어야 합니다.

크론 실패 알림은 어떻게 세팅하나요?

스크립트 맨 위에 set -euo pipefail을 넣고, Healthchecks.io 같은 데드맨스위치에서 펭 URL을 발급받아 시작·성공·실패 시점에 curl로 호출하게 하면 됩니다. 실패는 /fail 경로로 보내면 알림이 옵니다.

종료코드 감지와 하트비트 중 뭐를 써야 하나요?

둘 다 붙이는 게 맞습니다. 종료코드는 실행됐지만 실패한 경우를, 하트비트는 서버가 죽어서 실행 자체가 안 된 경우를 잡습니다. 하나만 쓰면 각각 놓치는 구간이 생깁니다.