서버 디스크 용량 부족은 자동화가 멈추는 원인 중에서 가장 조용한 편입니다. 어제까지 잘 돌던 크론 작업이 오늘 실패하는데 로그에는 뚜렷한 에러가 없고, 알림도 원인을 가리키지 않습니다. 디스크가 가득 차면 프로그램이 파일을 쓰지 못하고 로그 파일에도 쓰지 못하니, 로그가 어느 줄에서 뚝 끊긴 채 멈춰 있기도 합니다.
제가 운영하는 서버에는 크론이 70개 돌고 있습니다. 숏폼 자동 제작 파이프라인의 작업 폴더만 최근 30일에 253개가 쌓였습니다. 파일 하나하나는 작아도 이렇게 쌓이면 어느 날 디스크가 먼저 찹니다. 그래서 지금은 작업이 실패하면 코드를 보기 전에 디스크부터 확인합니다.
이 글에서 다루는 질문은 다섯 가지입니다.
- 디스크 때문에 멈춘 건지 로그에서 어떻게 가려내는가
- 에러 문구마다 무슨 뜻인가
- 용량과 inode 중 어디가 찼는지 확인하는 순서
- 무엇을 지우고 무엇을 남길지 기준
- 같은 일이 다시 생기지 않도록 정리와 알림을 어떻게 묶는가
디스크가 가득 차면 에러는 어떻게 보이나
대표적인 문구는 이렇습니다. 언어와 도구마다 표현이 조금씩 달라서 아래 표로 정리해 두고 로그를 볼 때 대조합니다.
| 에러 문구 | 주로 보이는 곳 | 의미 |
|---|---|---|
| No space left on device | 셸, ffmpeg, 대부분의 C 기반 도구 | 블록 또는 inode가 가득 찼다는 뜻. errno 28(ENOSPC) |
| OSError: [Errno 28] | Python | 위와 같은 상황을 Python이 감싼 것 |
| ENOSPC: no space left on device, write | Node.js | 파일 쓰기 중 실패 |
| database or disk is full | SQLite | DB가 쓸 공간이 없음 |
실제 로그는 대개 이런 모양입니다. 아래는 형식만 재현한 예시입니다.
2026-11-09 04:00:01 [pipeline] render start job=0412
2026-11-09 04:00:07 [pipeline] ffmpeg: Error writing trailer of /srv/pipeline/out/0412.mp4: No space left on device
2026-11-09 04:00:07 [pipeline] job=0412 status=FAILED
이 문구가 보이면 거의 확정입니다. 문제는 항상 이렇게 친절하지 않다는 점입니다. 프로그램에 따라서는 임시 파일을 만들지 못해 권한 오류나 타임아웃처럼 보이기도 합니다. 권한 문제인 줄 알고 chmod부터 만지면 시간만 씁니다. 그래서 권한이나 타임아웃 에러가 보여도 df부터 확인합니다.
로그 자체가 잘렸는지도 봐야 합니다. 디스크가 찼으면 로그 파일의 마지막 수정 시각이 작업이 멈춘 시각과 맞아떨어집니다. 로그 파일이 아예 비어 있거나 마지막 줄이 중간에서 끊겨 있으면 디스크 문제일 가능성이 높아집니다.
판별 질문은 세 개로 줄여 씁니다.
- 실패 시각 전후로 df -h 사용률이 100%에 가까운가
- df -i에서 inode 사용률이 100%인가
- 로그 파일의 마지막 수정 시각이 작업이 멈춘 시각과 같은가
어디가 차 있는지 찾는 순서
용량과 inode를 같이 봅니다. 파일 개수가 너무 많으면 용량이 남아 있어도 쓰기가 실패합니다.
df -h
df -i
sudo du -xh --max-depth=1 /srv 2>/dev/null | sort -h | tail -n 15
du 결과에서 큰 폴더를 찾으면 그 안으로 한 단계씩 내려갑니다. -x 옵션은 다른 파일시스템으로 넘어가지 않게 해줍니다. 마운트 지점 때문에 합계가 엉뚱하게 나오는 걸 막습니다.
조금 특수한 경우가 있습니다. df는 꽉 찼다고 하는데 du로 더해 보면 실제 파일은 작을 때입니다. 이건 삭제된 파일이 아직 어떤 프로세스에 열려 있어서 공간이 반환되지 않은 경우입니다. 아래 명령으로 찾습니다.
sudo lsof +L1 | grep deleted
여기서 나온 프로세스를 재시작해야 공간이 돌아옵니다. 파일을 지운 것만으로는 아무것도 바뀌지 않습니다. 이걸 모르고 같은 폴더만 계속 뒤지면 한참 헤맵니다.
지워도 되는 파일과 절대 지우면 안 되는 파일
정리 기준을 먼저 적어 두지 않고 지우면 나중에 재처리가 필요해질 때 다시 만들어야 합니다. 제가 쓰는 기준은 아래와 같습니다.
| 구분 | 예 | 지워도 되는 조건 |
|---|---|---|
| 임시 영상 파일 | 렌더 중간 산출물 .part, .tmp, 중간 .mp4 | 작업 완료, 최종 결과 업로드 확인, 마지막 수정 후 보관 기간 경과 |
| 로그 파일 | 회전된 이전 로그, 압축본 | 보관 기간 경과. 지금 쓰고 있는 로그는 건드리지 않음 |
| 절대 금지 | DB 데이터 디렉터리, 원본 소스, 사용자 업로드, .git, 설정 파일, 키와 인증서 | 없음. 자동 정리 대상에서 빼고 경로 자체를 분리 |
판단이 애매하면 이 질문으로 돌아갑니다. 이 파일을 다시 쓸 일이 있는가, 원본이 다른 곳에 있는가, 지운 뒤 복구할 방법이 있는가. 셋 중 하나라도 답이 모호하면 자동 정리 대상에 넣지 않습니다.

크론으로 돌리는 정리 스크립트
정리를 크론으로 돌리면 사람이 볼 때는 없던 위험이 생깁니다. 경로 변수가 비어 있으면 rm이 엉뚱한 곳을 지울 수 있습니다. 쓰기 중인 파일을 지울 수도 있고, 실행이 겹치면 같은 파일을 두 번 처리합니다. 크론은 PATH가 짧아서 lsof를 못 찾을 수도 있는데, 이때 검사가 실패해도 삭제가 진행되면 위험합니다. 그래서 아래 스크립트는 드라이런, 락 파일, 경로 검사, 열린 파일 검사를 모두 넣었습니다.
#!/usr/bin/env bash
set -euo pipefail
export PATH=/usr/local/bin:/usr/bin:/bin
TARGET_DIR="${TARGET_DIR:-/srv/pipeline/tmp}"
ALLOW_ROOT="/srv/pipeline"
KEEP_DAYS="${KEEP_DAYS:-7}"
MIN_AGE_MIN="${MIN_AGE_MIN:-120}"
DRY_RUN="${DRY_RUN:-1}"
LOCK_FILE="/var/lock/cleanup_tmp.lock"
LOG_FILE="/var/log/cleanup_tmp.log"
log() { echo "$(date '+%F %T') $*" >> "$LOG_FILE"; }
# 경로 변수가 비어 있으면 즉시 중단
: "${TARGET_DIR:?TARGET_DIR가 비어 있음}"
REAL_TARGET="$(realpath -e -- "$TARGET_DIR")"
# 허용 루트 아래의 하위 경로만 허용
case "$REAL_TARGET/" in
"$ALLOW_ROOT"/*/) ;;
*) log "REJECT target=$REAL_TARGET"; exit 1 ;;
esac
# lsof가 없으면 열린 파일 검사를 할 수 없으므로 중단
command -v lsof >/dev/null || { log "ABORT lsof missing"; exit 1; }
# 중복 실행 방지
exec 9>"$LOCK_FILE"
flock -n 9 || { log "SKIP already running"; exit 0; }
count=0
while IFS= read -r -d '' f; do
if lsof -- "$f" >/dev/null 2>&1; then
log "SKIP open $f"; continue
fi
if [ "$DRY_RUN" = "1" ]; then
log "DRYRUN $f"
else
rm -f -- "$f" && log "DELETED $f"
fi
count=$((count+1))
done < <(find "$REAL_TARGET" -xdev -type f \
\( -name '*.mp4' -o -name '*.mov' -o -name '*.part' -o -name '*.tmp' \) \
-mtime +"$KEEP_DAYS" -mmin +"$MIN_AGE_MIN" -print0)
log "END dry_run=$DRY_RUN candidates=$count"
-mmin 조건은 쓰기가 막 끝났거나 아직 진행 중인 파일을 건너뛰게 합니다. 열린 파일 검사와 같이 걸면 이중으로 막힙니다. 스크립트가 쓰는 로그 경로에 크론 사용자가 쓰기 권한이 있는지도 미리 확인해야 합니다. 권한이 없으면 로그도 못 남기고 조용히 실패합니다.
크론 등록은 처음 일주일 동안 드라이런으로만 돌렸습니다. 로그에 찍힌 대상이 내가 생각한 파일과 같은지 본 뒤에 DRY_RUN=0으로 바꾸는 순서입니다.
# 처음에는 드라이런으로만 실행. 실패하면 알림 스크립트 호출
0 4 * * * DRY_RUN=1 /home/ops/bin/cleanup_tmp.sh || /home/ops/bin/notify.sh "정리 실패"
크론에서는 로그인 셸 환경변수가 없으니 스크립트 경로를 절대 경로로 적습니다. crontab에 날짜 포맷을 직접 쓸 때는 % 를 \% 로 이스케이프해야 합니다.

임계치 알림과 정리 실패 알림을 한 세트로
정리 스크립트만 있으면 정리가 실패했을 때 모릅니다. 알림만 있으면 차오른 뒤에야 울립니다. 그래서 둘을 같이 겁니다. 알림은 80%에서 한 번, 90%에서 한 번, 두 단계로 나눴습니다. 한 단계만 두면 알림이 계속 울려서 무시하게 됩니다. 반대로 임계치가 너무 높으면 이미 늦습니다.
#!/usr/bin/env bash
set -uo pipefail
export PATH=/usr/local/bin:/usr/bin:/bin
MOUNT="${MOUNT:-/}"
WARN="${WARN:-80}"
CRIT="${CRIT:-90}"
WEBHOOK_URL="${WEBHOOK_URL:?WEBHOOK_URL 필요}"
HIST=/var/log/disk_usage.csv
pct() { df -P "$MOUNT" | awk 'NR==2 {sub("%","",$5); print $5}'; }
ipct() { df -Pi "$MOUNT" | awk 'NR==2 {sub("%","",$5); print $5}'; }
USE=$(pct)
IUSE=$(ipct)
echo "$(date +%F),$USE,$IUSE" >> "$HIST"
LEVEL=""
if [ "$USE" -ge "$CRIT" ] || [ "$IUSE" -ge "$CRIT" ]; then LEVEL=CRIT
elif [ "$USE" -ge "$WARN" ] || [ "$IUSE" -ge "$WARN" ]; then LEVEL=WARN
fi
[ -z "$LEVEL" ] && exit 0
MSG="[$LEVEL] $(hostname) $MOUNT 디스크 ${USE}% inode ${IUSE}%"
curl -fsS -X POST -H 'Content-Type: application/json' \
-d "{\"text\": \"$MSG\"}" "$WEBHOOK_URL" >/dev/null
# 10분마다 체크
*/10 * * * * WEBHOOK_URL_FILE=/home/ops/.config/hook /home/ops/bin/alert_disk.sh
파일에 적힌 CSV는 날짜별 사용률을 쌓아 둡니다. 며칠 치가 쌓이면 증가 속도가 보입니다. 같은 사용률이어도 매일 1씩 오르는 서버와 갑자기 뛰는 서버는 대응이 다릅니다.
알림이 실제로 오는지도 테스트해야 합니다. 임계치를 일부러 낮춰서 한 번 울려 보는 방법이 가장 간단합니다.
# 1) 임계치를 현재 사용률보다 낮게 해서 강제로 울리기
WARN=1 /home/ops/bin/alert_disk.sh
# 2) 정리 실패 경로 확인: /etc 는 허용 루트 밖이라 REJECT 되어야 함
TARGET_DIR=/etc DRY_RUN=1 /home/ops/bin/cleanup_tmp.sh; echo "exit=$?"
두 번째 테스트에서 exit=1이 나오고 notify가 호출되는지까지 봐야 정리 실패 알림이 살아 있다고 말할 수 있습니다. 테스트가 끝나면 임계치를 원래 값으로 되돌립니다.

이 방법이 맞지 않는 경우
이 스크립트는 제 서버의 경로에 맞춘 것입니다. 다른 서버에 그대로 복사하면 안 됩니다. 컨테이너 오버레이 레이어는 find로 파일을 지워도 공간이 줄지 않는 경우가 많습니다. 이때는 이미지와 컨테이너 정리 명령을 따로 써야 합니다. 공유 스토리지를 여러 서버가 같이 쓰면 내 서버에서 본 파일 목록과 실제 사용량이 다를 수 있습니다.
자동 삭제가 장애를 키울 수도 있습니다. 결과물을 임시 폴더에 두는 구조라면 정리 조건이 틀렸을 때 재처리가 필요한 파일부터 날아갑니다. 드라이런 기간을 충분히 두고, 대상 목록을 사람이 한 번 훑고 나서 켜는 편이 덜 아픕니다.
로그가 계속 커지는 구조라면 정리보다 로그 분리가 먼저입니다. 애초에 로그를 디스크가 작은 루트 파티션에 두면, 정리를 아무리 잘해도 금방 다시 찹니다. 이럴 때는 증설이나 로그 수집기 분리가 맞습니다. 정리 스크립트는 임시 파일을 줄이는 데만 효과가 있습니다.
재발을 막는 체크리스트
- 지금 df -h와 df -i 결과를 파일로 저장해 둔다. 오늘 할 일은 이것 하나입니다.
- 정리 대상 경로를 허용 루트 아래로 제한하고, 경로 변수가 비어 있으면 중단하도록 고친다.
- 정리 스크립트를 드라이런으로 먼저 돌리고, 로그의 대상 목록을 직접 확인한다.
- 80%와 90% 두 단계 임계치 알림을 걸고, 강제 임계치로 한 번 울려 본다.
- 정리 실패 알림을 따로 걸고, 잘못된 경로를 넣어 실패가 알림으로 오는지 확인한다.
- 주 1회 사용량 CSV와 정리 로그를 열어 본다.
지금 할 일은 하나입니다. 서버에서 df -h와 df -i를 실행하고 결과를 메모 파일에 복사해 두세요. 다음에 디스크가 찼을 때 이 기록이 있으면 증가 속도부터 바로 비교할 수 있습니다.
혼자 자동화로 서비스를 굴리는 아일리고입니다. 숏폼 영상은 제가 만든 ClipSquare 로 뽑습니다.
궁금해할 만한 것들
크론 작업이 실패했는데 로그에 에러가 없으면 디스크 문제인지 어떻게 확인하나요?
먼저 df -h와 df -i로 용량과 inode 사용률을 봅니다. 실패 시각 전후로 사용률이 100%에 가깝거나 로그 마지막 줄이 중간에서 끊겨 있으면 디스크 문제일 가능성이 큽니다. 권한이나 타임아웃 에러가 보여도 코드를 고치기 전에 디스크부터 보는 편이 시간을 아낍니다.
df에서는 디스크가 꽉 찼는데 du로 세어 보면 파일이 별로 없습니다. 왜 그런가요?
삭제된 파일을 아직 어떤 프로세스가 열고 있으면 공간이 바로 돌아오지 않습니다. sudo lsof +L1 | grep deleted로 찾을 수 있고, 나온 프로세스를 재시작해야 공간이 반환됩니다. 파일만 지워서는 아무것도 바뀌지 않으니 이 부분을 먼저 확인하세요.
디스크를 정리할 때 무엇을 지우고 무엇을 남겨야 하나요?
최종 결과 업로드가 끝난 중간 산출물(.part, .tmp, 중간 영상)은 보관 기간이 지난 뒤 지워도 됩니다. 반대로 DB 데이터 디렉터리, 원본 소스, 사용자 업로드 파일은 어떤 상황에서도 자동 정리 대상에 넣지 않습니다. 기준을 먼저 적어 두지 않으면 나중에 재처리할 때 다시 만들어야 합니다.
