자동화 실행 로그 남기는 방법, 1인 운영 기준 정리

Pipedeck 실제 화면

작성자

카테고리:

자동화가 조용히 멈춘 날, 무엇부터 막히나

자동화 실행 로그 남기는 방법을 찾는 사람은 보통 같은 상황에 있다. 어제 돌아야 했던 작업이 돌았는지 모르겠고, 돌았다면 결과가 어땠는지도 모른다.

나도 그랬다. 무인으로 돌리던 작업 하나가 며칠 동안 실패하고 있었다. 알림은 오지 않았고 눈에 띄는 이상도 없었다. 집계 숫자가 이상하다고 느껴서 날짜를 거슬러 올라가 보고서야 알았다. 그 시점에는 언제, 어떤 입력으로 실패했는지 남아 있는 기록이 없었다. 되돌아갈 방법이 없어서 할 수 있던 일은 앞으로의 실행을 고치는 것뿐이었다.

이 글은 그 기록을 어떻게 남기고 어떻게 찾는지 다룬다. 코드를 많이 몰라도 따라 할 수 있도록 한 줄 포맷, 크론 출력을 파일로 남기는 법, 용량과 보관 기간, 실패를 찾는 순서, 민감값을 가리는 법까지 적는다. 10월 6일 기준으로 서버에서 크론이 70개, 노트북에서 9개 돌고 있던 환경에서 정리한 내용이다. 완벽하지 않고, 아직 못 푼 부분도 있다.

로그 한 줄에 최소한 들어갈 것

처음에는 시각과 상태만 찍었다. 실패 줄을 봐도 어떤 대상을 처리하다 터졌는지 알 수 없었다. 대상을 적는 필드가 없었던 것이다. 지금은 한 줄에 아래 일곱 가지를 넣는다.

필드 목적 예시
시각 언제 돌았는지 2026-11-14T09:00:03
작업명 어떤 스크립트인지 daily_report
실행 ID 같은 실행의 줄을 묶음 20261114-0900-a3f
상태 성공과 실패 구분 OK, FAIL
소요 시간 갑자기 느려진 실행 찾기 12.4s
요약 메시지 사람이 읽을 한 문장, 처리 대상 포함 대상 목록 로드, 발송 0건
오류 코드 검색할 때 쓰는 키 AUTH_401
2026-11-14T09:00:03 | daily_report | 20261114-0900-a3f | FAIL | 12.4s | 대상 목록 로드, 발송 0건 | AUTH_401

ERROR 줄만 남기면 성공이 몇 번 있었는지 알 수 없다. 실패만 보이니 평소와 비교할 기준도 없다. 성공 줄도 같은 포맷으로 남기는 이유가 여기에 있다. 성공 줄이 빠진 날을 찾는 것도 로그로만 가능하다.

가장 단순한 시작: 크론 출력을 파일로 남기기

크론으로 돌리는 작업은 출력이 어디에도 남지 않는다. 화면이 없으니 에러 메시지도 사라진다. 가장 빠른 방법은 crontab 줄 끝에 출력을 파일로 보내는 것이다.

0 9 * * * /usr/bin/python3 /home/user/jobs/daily_report.py >> /home/user/logs/daily_report.log 2>&1

>>는 파일 끝에 이어 쓰라는 뜻이고, 2>&1은 에러도 같은 파일로 보내라는 뜻이다. 날짜별로 파일을 나누고 싶으면 파일명에 날짜를 넣으면 된다. 나는 날짜별로 나누는 쪽이 찾기 쉬웠다.

스크립트 안에도 로그 함수를 하나 넣어 두면 포맷이 통일된다. 셸이면 이렇게 쓴다.

log() {
  echo "$(date '+%Y-%m-%dT%H:%M:%S') | $1 | $2 | $3" >> /home/user/logs/run-$(date +%Y%m%d).log
}

log "daily_report" "OK" "대상 목록 로드, 발송 완료"

파이썬이면 이 정도면 충분하다.

from datetime import datetime

def log(job, status, msg):
    line = f"{datetime.now().isoformat(timespec='seconds')} | {job} | {status} | {msg}"
    with open("/home/user/logs/daily_report.log", "a", encoding="utf-8") as f:
        f.write(line + "\n")

여기서 제일 많이 걸린 게 경로였다. 터미널에서 손으로 실행하면 잘 되는데 크론에서는 실패했다. 크론은 로그인 셸의 환경을 물려받지 않는다. PATH가 짧고, .bashrc에 넣어 둔 설정도 없다. 그래서 명령을 못 찾으면 로그에만 이런 줄이 남는다.

/bin/sh: 1: python3: not found

파일을 안 남겼다면 그냥 “안 돌았다”로 끝났을 것이다. 나는 명령 이름 대신 절대 경로를 쓴다. which python3으로 경로를 찾아서 crontab에 그대로 적는다. 환경변수가 필요한 작업이면 그 값도 스크립트 안에서 명시적으로 읽도록 바꿨다.

Pipedeck 실제 화면

로그가 쌓이면: 보관 기간과 디스크

로그는 쌓인다. 처음 몇 주는 신경 쓸 일이 없다가 어느 날 디스크가 찬다. 나도 로그가 폭주해서 서버 디스크가 가득 찬 적이 있다. 그 순간 돌던 작업이 전부 같이 실패했고, 에러는 이 한 줄이었다.

write error: No space left on device

보관 기간은 세 가지로 정했다.

  • 실패를 얼마나 늦게 알아채는지. 며칠 뒤에 발견하는 편이면 보관 기간이 그보다 길어야 한다.
  • 발송 기록처럼 나중에 증명해야 하는 로그가 있는지. 이건 업무상 필요에 따라 따로 둔다.
  • 디스크에서 로그가 얼마를 차지하는지 주기적으로 본다.

운영 예시로 나는 최근 기간의 원본은 두고, 그 이전은 압축해서 보관한다. 이게 정답은 아니고 내 서버 기준이다.

디스크가 찼을 때는 이 순서로 본다.

df -h
du -sh /home/user/logs/* | sort -h
  1. df -h로 사용률이 100%에 가까운지 확인한다.
  2. du로 큰 파일을 찾는다. 로그 폭주인지, 다른 폴더인지 여기서 갈린다.
  3. 오래된 로그는 gzip으로 압축하거나 다른 곳으로 옮긴다. 지금 쓰고 있는 파일을 지우면 안 된다. 프로세스가 열어 둔 파일을 지우면 공간이 바로 돌아오지 않는다.
  4. 작업 하나를 손으로 돌려서 다시 기록되는지 확인한다.

로그 파일만 쌓이는 건 아니다. 숏폼 자동 제작 파이프라인은 최근 30일에 작업 폴더가 253개 쌓였다. 정리 주기에 작업 폴더도 같이 넣어야 한다. 자동 로테이션은 logrotate로 건다.

/home/user/logs/*.log {
    daily
    rotate 14
    compress
    missingok
    notifempty
    copytruncate
}

rotate 뒤 숫자는 남길 파일 개수라서 본인 기준으로 정한다. copytruncate를 빼면 파일 이름만 바뀌고 크론은 옛 파일에 계속 쓴다. 이 부분은 설정 파일을 만든 뒤 로그가 실제로 새 파일로 넘어가는지 확인해야 한다.

Pipedeck 실제 화면

실패 원인을 찾는 4단계 순서

같은 실패를 세 번 겪고 나서야 순서를 정리했다. 처음에는 로그 전체를 눈으로 훑었다. 시간만 쓰고 원인은 못 찾았다.

  1. 날짜와 작업명으로 범위를 좁힌다.
grep "FAIL" /home/user/logs/run-20261114.log
  1. FAIL 줄과 그 직전 줄을 같이 본다. 직전 줄에 원인이 있는 경우가 많다.
grep -n -B3 -A3 "FAIL" /home/user/logs/run-20261114.log
  1. 외부 API 응답 코드와 환경변수를 확인한다. 손으로 실행한 결과와 크론 결과를 나란히 놓고 비교한다.
  2. 최근 변경 사항을 되짚는다. 스크립트나 설정이 언제 바뀌었는지 본다.
git log --oneline
ls -lt /home/user/jobs

자주 보는 실패 패턴은 이 정도다.

로그에 보이는 것 흔한 원인 먼저 볼 곳
AUTH_401, Unauthorized 키 만료, 키 교체 후 크론 환경에 이전 값이 남음 환경변수, 최근 키 교체 날짜
No such file or directory 상대 경로 사용, 파일 이동 crontab 경로, 최근 이동 기록
timed out 외부 API 응답 지연 응답 시간, 요청 크기
No space left on device 디스크 가득 참 df -h, 로그 폴더 용량

아직 풀지 못한 게 있다. 타임아웃은 상대 서버 문제인지 내 쪽 문제인지 로그만으로 구분이 잘 안 된다. 이 부분은 요청 시작과 끝 시각을 따로 찍어 보는 중인데, 충분히 검증되지 않았다.

Pipedeck 실제 화면

API 키와 고객 정보가 로그에 찍히지 않게 하는 법

예외가 터지면 메시지에 요청 헤더가 통째로 따라 붙는 경우가 있다. 나는 로그에서 키가 평문으로 찍힌 걸 발견했다. 바로 키를 재발급하고, 이미 남은 로그를 정리했다. 로그는 생각보다 여기저기 복사된다.

2026-11-14T10:02:17 | sender | FAIL | HTTPError 401: headers={'Authorization': 'Bearer ****'}

로그에 찍히면 안 되는 것은 대략 이렇다.

  • API 키, 토큰, 비밀번호
  • 이메일, 전화번호, 이름 같은 고객 정보
  • 요청 본문과 응답 본문 전체
  • 예외 메시지에 딸려 오는 헤더와 설정 값

출력 직전에 값을 가리는 함수를 한 번 거치게 했다.

import re

def mask(text):
    text = re.sub(r"(Bearer\s+)\S+", r"\1****", text)
    text = re.sub(r"(key=)\S+", r"\1****", text)
    text = re.sub(r"[\w.+-]+@[\w-]+\.[\w.]+", "***@***", text)
    text = re.sub(r"01[016789]-?\d{3,4}-?\d{4}", "010-****-****", text)
    return text

이 함수는 완벽하지 않다. 정규식이 못 잡는 형식은 그대로 나간다. 그래서 1순위는 애초에 찍지 않는 것이다. 요청 본문은 로그에 남기지 않고 상태와 크기만 남기는 편이 안전하다.

이미 찍힌 로그와 파일 권한도 같이 본다.

chmod 600 /home/user/logs/*.log

600은 파일 주인만 읽고 쓰게 한다. 같은 서버의 다른 계정이 로그를 읽을 수 있으면 그것만으로도 노출이다.

이번 주에 할 일, 그리고 로그를 줄여야 할 때

처음부터 완벽한 로그 체계를 만들려다 아무것도 못 한 시기가 있었다. 포맷, 보관 정책, 검색 방법을 한꺼번에 설계하려다 로그가 한 줄도 안 남았다. 지금은 최소 구성으로 시작해서 필요할 때 하나씩 늘린다.

  • 크론 줄 끝에 >> 파일 2>&1을 붙였는지 확인한다.
  • 한 줄 포맷에 시각, 작업명, 실행 ID, 상태, 소요 시간, 요약, 오류 코드가 있는지 본다.
  • 보관 기간과 디스크 확인 날짜를 적어 둔다.
  • 로그에서 키와 고객 정보를 검색해 본다.
  • 로그 파일 권한이 600인지 확인한다.

로그를 많이 남긴다고 찾기 쉬워지는 건 아니다. 같은 내용을 여러 파일에 중복으로 남기거나 진행 상황을 매번 찍으면 grep 결과가 소음으로 가득 찬다. 나는 실패와 결과만 남기고 나머지는 디버그할 때만 켠다.

다음 글 후보는 실패 알림 연결, 크론 환경변수 정리, 로그 디스크 점검 자동화다. 로그를 아무리 잘 남겨도 아무도 안 보면 조용한 실패는 그대로 남는다.


글쓴이 정보

아일리고입니다. 자동화를 만들고 굴리며 겪은 일을 여기에 적습니다. 숏폼 영상은 ClipSquare 를 씁니다.