크론 중복 실행, 어떻게 막아야 하나요?

Pipedeck 실제 화면

작성자

카테고리:

크론 중복 실행 때문에 메일이 두 번 나갔다면, 크론이 이상하게 돈 게 아니라 작업이 다음 주기보다 오래 걸렸을 가능성이 큽니다. 이 글에서는 원인을 찾는 법, flock 한 줄로 막는 법, 잠금이 오히려 데이터를 망치는 경우까지 정리합니다.

메일이 두 번 나갔다면, 크론이 잘못 돈 게 아닙니다

같은 사람에게 메일이 두 통 갔거나, 정산 테이블에 같은 행이 두 줄 생겼거나, 서버 부하 그래프에 같은 시각마다 봉우리가 솟았다면 중복 실행부터 의심하는 게 맞습니다.

지금 바로 할 일은 로그에서 같은 작업의 시작 시각이 겹치는지 보는 것입니다. 시작 로그가 찍혔는데 끝 로그가 없거나, 다음 시작이 이전 끝보다 먼저 찍혀 있으면 겹친 겁니다.

우리 쪽은 2026년 10월 6일 기준으로 서버에 크론이 70개, 노트북에 9개 돌고 있습니다. 이 정도면 겹침을 한 번쯤은 직접 뜯어보게 됩니다.

이 글에서 얻는 건 원인을 짚는 순서, 복붙해서 쓸 잠금 명령과 스크립트, 잠금을 걸면 안 되는 작업을 가르는 기준입니다. 얻지 못하는 것도 적어 둡니다. 서버 여러 대에 걸친 잠금은 완성된 해법을 드리지 못합니다. DB 락은 설계 방향만 잡아 둔 상태입니다.

중복 실행이 생기는 정확한 원인 4가지

cron은 이전 실행이 끝났는지 신경 쓰지 않습니다. 시간이 되면 명령을 띄울 뿐입니다. 실행 시간이 주기보다 길어지면 겹치고, 이건 cron의 결함이 아니라 작업 설계의 문제입니다.

자동 파이프라인이 블로그 글 한 편을 만드는 데 13~15분이 걸린다고 해 봅시다. 이 작업을 그보다 짧은 주기로 걸어 두면 앞 실행이 끝나기 전에 뒤 실행이 시작됩니다. 평소엔 멀쩡하다가 실행 시간이 늘어나는 날에만 터지니까 더 찾기 어렵습니다.

원인 로그에서 보이는 모습 확인 명령
주기보다 실행이 길어짐 시작 로그가 이전 끝 로그보다 먼저 찍힘 ps -ef | grep send.php 로 같은 프로세스가 여러 개인지 확인
같은 crontab이 여러 호스트에 있음 서로 다른 서버 로그에 같은 시각 실행 기록 각 서버에서 crontab -l 결과 비교
수동 실행이나 재시도가 크론과 겹침 사람이 돌린 시각과 크론 시각이 맞물림 ps -ef 에서 실행 사용자와 시작 시각 확인
백그라운드 자식이 살아 있음 본체는 끝났는데 잠금을 쥔 자식이 남아 있음 ps -ef --forest 로 부모가 사라진 자식 확인

표의 원인은 전부 설계 쪽입니다. 겹침을 막을지 말지는 스크립트에서 정해야 합니다.

무인으로 도는 작업일수록 호스트가 몇 대인지부터 확인하는 습관이 생겼습니다. 같은 작업이 노트북과 서버에 동시에 걸려 있으면 flock은 두 호스트 사이를 막지 못합니다.

flock 한 줄로 중복 막기: 명령어와 꼭 봐야 할 옵션

가장 빠른 방법은 flock입니다. 같은 파일에 잠금을 걸고, 잠금을 못 잡으면 바로 빠져나오게 합니다.

*/5 * * * * flock -n /var/lock/send-mail.lock /usr/bin/php /app/send.php >> /var/log/send-mail.log 2>&1

여기서 봐야 할 건 -n입니다. 이 옵션이 없으면 flock은 앞 실행이 끝날 때까지 기다립니다. 기다리는 게 나쁘진 않지만, 주기마다 대기 프로세스가 쌓이면 그 자체가 서버 부하가 됩니다.

옵션 뜻 언제 쓰나
-n 잠금을 못 잡으면 기다리지 않고 바로 실패 중복 실행 막기의 기본
-w 초 지정한 초만큼 기다린 뒤 실패 짧은 대기를 허용할 때
-E 코드 잠금 실패 시 종료 코드 지정 (기본값 1) 스킵과 실제 오류를 구분할 때
-x 배타 잠금 (기본값) 의도를 명시할 때

직접 확인하려면 잠금을 쥔 채 오래 도는 명령을 하나 띄우고, 같은 잠금으로 한 번 더 실행해 봅니다.

flock -n /tmp/test.lock sleep 100 &
flock -n /tmp/test.lock echo hi; echo $?

두 번째 줄이 1을 찍으면 잠금이 걸린 겁니다.

crontab에서 자주 틀리는 세 가지

첫째로 PATH입니다. cron 환경의 PATH는 짧아서 php나 node가 안 잡힐 수 있습니다. 절대 경로를 쓰는 게 안전합니다. 실패하면 php: not found 계열 문구가 로그나 cron 메일에 남습니다.

둘째는 리다이렉션입니다. >> 로그 2>&1을 빼면 출력이 cron 메일로 날아가거나 아예 사라집니다.

셋째는 % 문자입니다. crontab에서 %는 줄바꿈으로 해석되어서 날짜 포맷을 그냥 쓰면 명령이 잘립니다. 이스케이프해야 합니다.

0 3 * * * /usr/bin/flock -n /var/lock/report.lock /usr/bin/php /app/report.php $(date +\%F) >> /var/log/report.log 2>&1
Pipedeck 실제 화면

flock 없이 잠금파일 직접 만들기: 최소 구현

잠금 로직을 스크립트 안에 넣고 싶을 때는 직접 만듭니다. 제일 단순한 건 mkdir입니다.

touch로 파일을 만들고 존재 여부를 검사하는 방식은 쓰면 안 됩니다. 검사와 생성이 두 단계라서, 거의 동시에 뜬 두 프로세스가 둘 다 파일 없음을 보고 통과할 수 있습니다. mkdir은 이미 있으면 실패하는 걸 한 번에 처리하므로 원자적입니다.

#!/bin/bash
LOCKDIR=/var/lock/send-mail.lock

if ! mkdir "$LOCKDIR" 2>/dev/null; then
  echo "$(date '+%F %T') SKIP lock held" >> /var/log/send-mail.log
  exit 75
fi
trap 'rm -rf "$LOCKDIR"' EXIT
echo $$ > "$LOCKDIR/pid"

/usr/bin/php /app/send.php

잠금을 못 잡은 분기에서 exit 하는 건 trap을 걸기 전입니다. 남의 잠금을 지우면 안 되니까요. php가 실패해도 trap이 EXIT에서 잠금 디렉터리를 지웁니다. 다만 SIGKILL은 trap이 잡지 못해서, 그때는 잠금이 남습니다. 다음 장에서 그 경우를 다룹니다.

PID 파일과 kill -0을 같이 쓸 때

PID 파일 방식은 파일에 PID를 적고 kill -0으로 프로세스가 살아 있는지 확인합니다. kill -0은 신호를 보내지 않고 존재만 확인합니다. 다만 재부팅 뒤에는 같은 PID가 전혀 다른 프로세스에 배정될 수 있어서, 살아 있다는 결과만으로는 부족합니다. 프로세스 이름까지 같이 봐야 합니다.

Pipedeck 실제 화면

잠금이 걸린 채 프로세스가 죽었을 때 복구하는 법

flock은 프로세스가 죽으면 커널이 잠금을 풀어 줍니다. 파일 디스크립터가 닫히기 때문입니다. 예외는 자식 프로세스가 디스크립터를 물고 살아 있을 때입니다. 본체가 죽어도 자식이 살아 있으면 잠금은 안 풀립니다.

mkdir 방식은 다릅니다. 디렉터리가 그대로 남습니다. 정전이나 SIGKILL이면 trap이 실행되지 않으니까요. 남은 잠금을 치우기 전에 pid부터 확인합니다.

LOCK=/var/lock/send-mail.lock
PID=$(cat "$LOCK/pid" 2>/dev/null)
if [ -z "$PID" ] || ! ps -p "$PID" -o args= | grep -q run-send; then
  rm -rf "$LOCK"
fi

이 조건은 두 가지를 봅니다. pid가 살아 있는지, 그리고 살아 있는 프로세스가 우리 작업인지입니다. 재부팅 뒤 PID가 재사용됐다면 두 번째 조건에서 걸립니다. 스크립트 이름은 실제 파일명에 맞춰 바꿔 주세요.

재부팅과 /tmp 정리 문제도 있습니다. 잠금을 /tmp에 두면 정리 대상이 됩니다. 실행 중에 잠금 파일이 지워지면 다른 프로세스가 새 파일로 잠금을 잡아서 두 실행이 동시에 돈다. 잠금은 /var/lock처럼 재부팅 전까지 유지되는 곳에 두고, 상태 값을 잠금 파일에 같이 저장하지 않는 편이 안전합니다.

권한 문제도 자주 걸립니다. 크론을 돌리는 사용자가 잠금 디렉터리에 쓸 수 없으면 이런 문구가 나옵니다.

flock: /var/lock/send-mail.lock: Permission denied

root 크론과 일반 사용자 크론이 섞인 서버에서 특히 많이 봤습니다. 잠금 경로를 그 사용자가 쓸 수 있는 곳으로 옮기거나 디렉터리 권한을 맞춰 주면 됩니다.

Pipedeck 실제 화면

중복 방지가 오히려 독이 되는 경우

잠금은 같은 작업이 두 번 도는 것만 막습니다. 작업이 중간에 빠지는 건 막지 못하고, 빠졌다는 사실도 알려 주지 않습니다.

수집이나 동기화 작업을 생각해 봅시다. 앞 실행이 도는 중에 뒤 실행이 스킵되면, 그 사이에 쌓인 데이터는 다음 실행이 가져갈 때까지 밀려 있습니다. 다음 실행이 기준 시각을 마지막 성공 시점으로 잡지 않으면 구간이 통째로 빠집니다. 스킵을 성공으로 취급하면 아무도 모르고 지나갑니다.

타임아웃 없는 잠금도 독입니다. 프로세스가 외부 API 응답을 영원히 기다리면 잠금도 영원히 풀리지 않고, 이후 실행이 전부 스킵됩니다. GNU timeout 명령으로 실행 시간 상한을 걸어 두고, 상한은 정상 실행 시간보다 넉넉하게 잡습니다. 작업마다 시간이 달라서 공통 숫자는 드리기 어렵습니다.

작업 잠금이 맞는가 주의할 점
리포트 생성 (덮어쓰기) 맞음 스킵되면 결과가 한 주기 늦음. 허용 범위인지 먼저 확인
메일 발송 잠금만으로는 부족 발송 기록에 대상과 날짜 키를 남겨 재발송 차단
외부 API 증분 수집 주의 스킵 구간이 누락됨. 기준 시각을 성공 시점으로 관리
정산과 집계 잠금보다 멱등성 재실행해도 같은 결과가 나오도록 설계
멀티 호스트 동기화 파일 잠금은 무의미 DB 락이나 멱등성 키로 옮김

서버가 여러 대일 때

flock과 파일 잠금은 한 호스트 안에서만 유효합니다. 다른 서버에서 같은 작업이 떠도 서로 모릅니다. 방향은 두 가지입니다.

첫째는 DB 어드바이저리 락입니다. PostgreSQL의 pg_try_advisory_lock은 잡히면 true, 아니면 false를 돌려주고 세션이 끊기면 풀립니다. MySQL의 GET_LOCK도 비슷하게 동작합니다. 연결 풀을 쓰면 세션 경계가 흐려지니 주의가 필요합니다. 이 방식은 아직 운영에 넣어 보지 않았습니다.

둘째는 멱등성 키입니다. 결과 테이블에 작업 키를 유니크 인덱스로 걸어서, 같은 작업이 두 번 들어와도 한 번만 반영되게 합니다. 잠금이 뚫려도 데이터가 꼬이지 않는 최후의 방어선입니다.

스킵도 기록은 남긴다

스킵은 실패가 아니지만 흔적은 남아야 합니다. 스킵 시각, 작업명, 잠금을 쥔 PID를 로그에 남기고, 연속으로 스킵되면 알림이 가도록 겁니다. 제가 쓰는 블로그 파이프라인도 개편 전 30일 동안 문체 검사 1회차에서 20번 중 15번을 떨어뜨렸는데, 떨어진 글이 실패 알림 없이 초안으로 내려가는 구조였습니다. 조용히 빠지는 건 스킵과 같은 문제입니다.

결론: 지금 점검할 체크리스트와 다음 행동

순서는 진단, 잠금 적용, 스킵 로그, 멱등성 검토입니다.

  1. 같은 작업의 시작 시각이 로그에서 겹치는지 확인한다.
  2. 같은 crontab이 올라간 호스트를 전부 적어 둔다.
  3. 크론 줄에 flock -n을 붙이고 모든 경로를 절대 경로로 쓴다.
  4. 잠금 경로를 크론 사용자가 쓸 수 있고 재부팅 전까지 유지되는 곳에 둔다.
  5. 스킵 로그를 남기고 연속 스킵 알림을 건다.
  6. 작업마다 스킵되면 누락이 생기는지 판정한다.
  7. 멀티 호스트 작업은 DB 락이나 멱등성 키로 옮긴다.

저는 지금 서버가 한 대라서 대부분은 flock으로 충분합니다. 노트북과 서버에 걸쳐 있는 작업은 아직 한쪽으로 정리하지 못했습니다. 다음 글에서는 멱등성 키를 실제 테이블 설계로 풀어 볼 생각입니다.

이 블로그 글도 자동 파이프라인이 하루 3~4편씩 만들고, 2026년 10월 6일 기준 공개 글은 57편입니다. 운영 중인 서비스와 작업 내역은 https://wallenstein.dev 에 있습니다.


글쓴이 정보

1인 빌더 아일리고가 씁니다. 잘된 것도 망한 것도 적습니다. 영상은 제가 만든 ClipSquare 에서 나옵니다.

궁금해할 만한 것들

크론 작업이 중복으로 실행되는 이유는 무엇인가요?

cron은 시간이 되면 명령을 띄울 뿐, 이전 실행이 끝났는지는 확인하지 않습니다. 그래서 작업 시간이 실행 주기보다 길어지면 앞 실행이 끝나기 전에 다음 실행이 시작되어 겹칩니다. 평소엔 괜찮다가 처리량이 늘어난 날에만 터지기 때문에 찾기 까다롭습니다.

flock으로 크론 중복 실행을 막을 때 -n 옵션은 왜 붙이나요?

-n을 빼면 flock은 앞 실행이 끝날 때까지 기다립니다. 주기마다 대기 프로세스가 쌓이면 그 자체가 서버 부하가 되므로, 잠금을 못 잡으면 바로 종료하도록 -n을 붙이는 편이 보통 안전합니다. 중복을 건너뛰는 것이 목적이라면 -n이 기본입니다.

잠금을 걸었더니 오히려 데이터가 꼬이는 경우도 있나요?

있습니다. 같은 crontab이 서버 여러 대에 걸려 있으면 flock은 서버끼리의 중복을 막지 못해서 잠금이 걸렸다고 안심하면 안 됩니다. 또 -w로 대기 시간을 길게 주면 작업이 밀려 쌓여 데이터 정합성 문제로 이어질 수 있으니, 멱등하지 않은 작업이라면 건너뛰기 쪽이 낫습니다.