자동화 로그 없이 돌리면 망한 걸 모릅니다

조용히 멈춘 자동화 로봇 일러스트

작성자

카테고리:

자동화가 조용히 죽어 있었던 날, 로그가 없으면 망한 걸 모릅니다

성공 알림만 믿다가 놓친 것

작년쯤이었나. 노트북에서 돌리던 크론 몇 개를 성공 알림으로만 관리하고 있었다. 성공하면 텔레그램으로 “완료” 한 줄이 오는 구조였다. 어느 날 알림이 안 오는 게 이상해서 들여다봤더니 며칠째 프로세스가 죽어 있었다. 성공 알림이 안 오는 게 실패 신호인데, 그걸 사람이 알아채는 구조라는 게 문제였다. 알림 오는 걸 익숙해지면 안 오는 날을 그냥 지나치게 된다.

지금은 크론이 서버에 70개, 노트북에 9개 돌고 있다. 이 규모가 되니 성공 알림은 다 껐다. 실패할 때만 울린다. 성공은 기본값이고, 실패가 이벤트니까.

‘왜 그랬는지’를 증명할 기록이 없을 때 벌어지는 일

더 곤란했던 건 그다음이었다. 죽은 자동화를 살리려고 보니, 뭘 입력으로 넣었는지, 어디서 멈췄는지, 마지막 출력이 뭐였는지 기록이 없었다. 원인 추적이 아니라 추측이었다. “아마 API가 느려서 타임아웃이지 않았을까” 수준. 결국 확신이 없으니 그날 몇 회차분을 통째로 다시 돌렸다.

자동화 로그는 실패 원인을 추적할 때 비로소 값이 나온다. 돌아갈 때는 아무 쓸모 없다가, 죽었을 때 없으면 원인과 복구 둘 다 못 한다.

로그, 정확히 무엇을 남겨야 하나: 성공/실패보다 깊은 항목들

필수 6항목: 실행 시각·입력 요약·출력 요약·소요 시간·에러 메시지·재시도 여부

자동화 로그란, 자동화 실행마다 나중에 원인을 추적하고 복구할 수 있도록 실행의 입력·출력·상태를 최소한으로 기록해 둔 실행 이력이다. 성공/실패 여부만으로는 부족하다. 실패했다는 건 알아도 왜 실패했는지는 모르니까.

내가 매 실행마다 남기는 필드는 이 6개다.

  • 실행 시각 (시작·종료 각각)
  • 입력 요약 (무엇을 처리했는지 식별 가능한 수준)
  • 출력 요약 (결과물 위치나 개수)
  • 소요 시간
  • 에러 메시지 (있으면 원문 그대로)
  • 재시도 여부 (몇 번째 시도였는지)

요약이 핵심이다. 입력 전체가 아니라 “이 실행이 어떤 건지 나중에 알아볼 수 있는” 정도. 블로그 자동 파이프라인이면 글 제목, 렌더 파이프라인이면 작업 폴더 이름 정도.

남기면 오히려 독이 되는 것, 전체 입력값 통째로 저장의 위험

처음엔 안전하게 다 남겼다가 역효과를 봤다. API 응답 본문을 통째로 로그에 박아두니 파일이 걷잡을 수 없이 커졌고, 그게 싫어서 로그를 잘 안 남기게 되더라. 로그가 무거우면 확인할 마음도 사라진다.

남기지 않는 것의 기준도 명확하다.

  • API 키, 토큰, 비밀값은 절대 줄에 넣지 않는다. 로그는 생각보다 많은 곳에 흘러간다.
  • 개인정보성 입력값은 남겨야 한다면 앞부분만 잘라서.
  • 거대 페이로드 전문은 파일로 남기고 로그에는 경로만.

버릴 것을 정하지 않으면 남길 것도 지속이 안 된다.

복사해서 쓰는 로그 필드 템플릿

원클립AI 쪽 자동화에서 실제로 쓰는 필드 구성이다. JSON 한 줄로 떨어지게 해두면 나중에 grep도 되고 파싱도 된다.

{“ts”: “실행시각”, “job”: “파이프라인명”, “attempt”: 1, “input_brief”: “식별 가능한 요약”, “output_brief”: “결과 요약”, “duration_ms”: 0, “status”: “ok|fail”, “error”: “에러 원문 또는 null”}

에러는 해석해서 요약하지 말고 원문을 그대로 남긴다. 요약하는 순간 내 추측이 끼어들고, 나중에 원문이 필요해진다.

어디에 남기나: 파일·시트·DB 중 1인 운영자의 선택

구글 시트: 시작은 쉽지만 어디서부터 무너지나

처음엔 구글 시트에 로그를 쌓았다. 보기 쉽고 공유도 되고, 별도 인프라가 없으니 시작 비용이 0이었다. 문제는 실행 빈도가 올라가면서 나타났다. 행수가 계속 늘어 시트가 느려졌고, 동시에 쓰기가 겹치면 그냥 드롭되는 실행 기록이 있었다. 실패 로그가 유실되는 순간 로그의 의미가 없어진다.

서버 파일·DB: 언제 넘어가야 하나

지금은 서버에서는 파일(JSONL)과 DB를 섞어 쓴다. JSONL은 한 줄에 한 실행이라 append만 하면 돼서 겹쳐도 안 잃는다. DB는 나중에 “최근 실패만 뽑아서” 같은 조회가 필요해질 때 들어간다.

내 기준: 단계별 저장소 전환 트리

상황 저장소 이유
하루 몇 건, 사람이 눈으로 봄 구글 시트 설정 없이 바로 시작, 가독성
하루 수십 건 이상, 동시 실행 있음 서버 JSONL 파일 유실 없음, grep 가능
실패 조회·통계가 필요해짐 DB (SQLite로 충분) 조건 검색, 보관 기간 관리
여러 서비스의 로그를 모아야 함 중앙 로그 폴더 + 파일명 규칙 서비스별 흩어짐 방지

시트에서 파일로 넘어가는 신호는 명확하다. “아까 그 실패 로그 어디 갔지?”라고 생각한 순간이다.

자동화 로그 항목 기록 노트 일러스트

얼마나 보관하고 언제 지우나, 로그 비용이 터지는 지점

30일 롤링 삭제가 기본값인 이유

로그도 결국 디스크와 저장 비용이다. 클라우드 저장소에 쌓아두면 요금 폭탄이라기보다, 잔여 용량과 검색 속도가 조금씩 나빠지는 식으로 청구서가 온다. 나는 성공 로그는 30일 롤링 삭제를 기본으로 한다. 한 달 전 성공 기록을 다시 볼 일은 거의 없었다. 있을 때는 그때 그 실행이 실패 로그로 남아 있던 경우뿐이었다.

버려도 되는 로그 vs 절대 버리면 안 되는 로그

성공과 실패의 보관 기간을 분리하는 게 내 방식의 뼈대다.

  • 성공 로그: 짧게. 한 줄 요약만, 30일 뒤 삭제.
  • 실패 로그: 길게. 에러 원문과 재시도 이력까지 남기고, 삭제는 좀 더 보류.
  • 사고 났던 날의 로그: 별도 폴더에 옮겨 따로 보관. 사고 재발 비교용.

성공 기록은 통계에나 쓰이는데, 실패 기록은 다음 장애의 원인 비교에 쓰인다. 용도가 다르니 보관도 다르게.

보관 정책 설계 시 확인할 3가지

  1. 이 로그가 30일 뒤에도 읽힐 가능성이 있는가. 없으면 지운다.
  2. 삭제가 자동인가, 손수 지우고 있는가. 손수면 언젠가 안 하게 된다.
  3. 지우기 전에 “최근 실패 요약” 같은 압축본을 남기고 지우는가.
로그 저장 위치 고르는 1인 운영자

로그를 남겨도 안 보면 무용지물, 확인 루틴 만들기

매일 아침 3분 실패 로그 스캔

아침에 커피 타면서 노트북을 열면 제일 먼저 하는 게 실패 로그 확인이다. 전날 밤 사이에 fail 상태로 남은 줄만 grep해서 훑는다. 성공 로그는 안 본다. 전부 읽겠다는 생각부터가 못 지키는 루틴의 시작이라, 실패만 걸러 보는 구조로 만들었다.

주간 점검: 실패 패턴에서 원인 찾기

주말에 한 번은 실패 로그를 모아서 패턴을 본다. 같은 자동화에서 같은 에러가 반복되면 그건 일회성 오류가 아니라 설계 문제다. 타임아웃이 반복되면 재시도 간격을 늘리고, 특정 입력에서만 죽으면 전처리에 가드를 넣는 식으로 고쳐나간다.

확인 자체도 자동화하는 법 (실패 있을 때만 요약 알림)

사람이 매일 보는 것도 결국 까먹는 날이 온다. 그래서 확인도 자동화했다. 크론 하나가 실패 로그를 매일 한 번 훑어서, 실패가 있으면 그날의 실패 건수와 에러 메시지를 요약해서 알림으로 보낸다. 실패가 없으면 아무것도 안 온다. 침묵이 곧 정상이라는 신호다.

로그 확인 루틴 만들기 일러스트

로그가 없이 실패했던 사례에서 배운 것, 한계와 주의점

원인 못 찾아 전체 재실행했던 날

앞에서 말한 크론 죽은 사건이다. 몇 회차가 유실됐는지도 확실하지 않으니 그 기간 전체를 다시 돌렸다. 중복 실행이 흉한 건 아니지만, 시간 낭비고 결과 검증도 어중간해진다. 그때부터 필수 6항목을 최소선으로 정했다.

로그를 과하게 남겨서 오히려 못 본 경험

반대편 삽질도 있다. 모든 걸 다 남기자고 응답 본문 통째로 박아두니, 정작 실패 줄을 찾으려면 수많은 줄을 뒤져야 했다. 로그는 양이 아니라 나중에 필요한 줄을 빨리 찾을 수 있느냐로 평가해야 한다. 지금의 기준은 그 삽질 이후로 정해진 것들이다.

이 방식이 안 맞는 경우도 있습니다

한 달에 몇 번 안 돌아가는 자동화라면 여기까지 할 필요는 없다. 실행할 때마다 사람이 보는 흐름이면 로그보다 실행 결과물 확인이 먼저다. 이 글의 기준은 무인으로 돌아가는 크론이 수십 개 단위일 때의 이야기다.

정리: 남길 것·버릴 것·볼 루틴·지울 시점, 오늘 하면 끝

4분할 점검표로 마무리

항목 기준
남길 것 실행 시각, 입력 요약, 출력 요약, 소요 시간, 에러 원문, 재시도 여부
버릴 것 토큰·비밀값, 개인정보 원문, 거대 페이로드 전문
볼 루틴 매일 실패만 스캔, 주간 패턴 점검, 실패 있을 때만 요약 알림
지울 시점 성공 로그 30일, 실패 로그는 더 두고, 사고 날 로그는 별도 보관

지금 10분 만에 시작하는 첫 걸음

돌아가는 자동화 하나를 골라서 오늘 실행분에 저 6항목 JSON 한 줄만 남겨보면 된다. 저장소 고민은 그다음이다. 어디에 남길지보다 뭐를 남길지가 먼저 정해지면 나머지는 다 물린다.

실패가 왔을 때만 울리는 알림 설계나, 자동화 돌리는 비용 관리 같은 이야기도 이 블로그에 이어서 적어두고 있다. 궁금하면 이웃 글을 봐도 된다.


글쓴이 정보

혼자 자동화로 서비스를 굴리는 아일리고입니다. 숏폼 영상은 제가 만든 ClipSquare 로 뽑습니다.