API 한도 없는 자동화, 밤새 요금 폭탄 맞습니다

밤새 요금이 쏟아지는 자동화 로봇

작성자

카테고리:

AI API 요금 폭탄 청구서를 받고 나면 드는 생각은 대개 두 가지입니다. 이미 얼마나 나왔는지, 그리고 지금도 나오고 있는지요. 둘 중에는 지금도 나오고 있는지가 더 급합니다. 그래서 이 글은 원인을 따지기 전에 멈추는 순서부터 적었습니다.

저도 예전에는 자동화가 돌아가는지만 봤습니다. 결과 파일이 떨어지면 성공이었고, 호출이 몇 번 나갔는지는 거의 보지 않았습니다. 지금은 서버에 크론이 70개, 노트북에 9개 돌고 있습니다(2026년 10월 6일 기준). 이 정도 개수를 기억에 의존해 관리하면 어딘가 반드시 빠집니다.

지금 청구서를 보고 놀랐다면, 먼저 이것부터 확인하세요

알림이 온 시각과 실제 실행 시간을 맞춰 봅니다

카드 알림 시각과 공급사 사용량 기록 시각은 다를 때가 많습니다. 공급사 대시보드에서 지출이 튄 시간대를 먼저 찾고, 서버 로그에서 같은 시간대에 무엇이 실행됐는지 봅니다.

journalctl -u cron --since "2 days ago" | grep CMD

위 명령은 cron 로그가 journald에 남는 Debian·Ubuntu 계열 기준입니다. 배포판에 따라 /var/log/syslog에 남기도 하니 환경에 맞게 바꾸세요.

노트북에서 돌린 작업은 서버 로그에 안 나옵니다. 서버만 보고 끝내면 노트북 쪽 작업을 놓치기 쉬워서, 저는 두 곳을 따로 봅니다.

어떤 키와 프로젝트에서 나갔는지 식별합니다

공급사 콘솔에서 키별이나 프로젝트별로 사용량이 나뉘어 보이면 거기서 범인을 찾습니다. 키 하나를 여러 작업이 같이 쓰고 있었다면, 로그에 작업 이름과 키 뒷자리 일부를 같이 남기도록 먼저 고치세요. 키 전체 값을 로그에 남기면 그 로그가 또 다른 유출 경로가 됩니다.

AI API 요금이 갑자기 튀는 대표 원인

제 자동화 구조를 기준으로 보면 원인은 크게 네 가지 패턴으로 나뉩니다. 청구서가 아니라 로그에서 먼저 보이는 신호를 같이 적었습니다.

원인 로그에서 보이는 신호 대응
재시도 루프 같은 요청 ID가 짧은 간격으로 계속 찍히고, 429 같은 에러가 이어짐 재시도 횟수 상한, 지수 백오프
에이전트 무한 반복 같은 도구 호출이 반복되고, 호출마다 입력 길이가 늘어남 최대 턴 수 제한, 누적 컨텍스트 자르기
크론 중복 실행 작업 시작 시각이 겹치고 같은 스크립트 프로세스가 여러 개 떠 있음 잠금 파일 도입, 실행 주기와 작업 시간 재확인
팬아웃 설계 작업 하나가 병렬 호출을 한꺼번에 여러 개 만듦 동시성 상한, 큐를 통한 순차 처리

이 중에서 제일 조용히 돈을 쓰는 건 재시도 루프입니다. 실패 원인이 그대로인데 바로 다시 부르면, 실패 한 번이 호출 여러 번으로 바뀝니다.

이 표를 만들려고 제 파이프라인 코드를 다시 읽어 봤는데, 실패 분기에서 바로 다시 호출하는 자리는 눈에 잘 안 띕니다. 평소에 성공 경로만 보고 있으면 더 그렇습니다. 실패 경로에 일부러 시선을 두는 것부터가 점검의 시작이었습니다.

지금 당장 청구를 멈추는 순서

순서가 중요합니다. 키부터 바꾸면 옛 설정을 쥐고 있는 크론이 계속 돌면서 에러만 쌓입니다. 실행 주체를 먼저 끄고, 키를 폐기하고, 공급사에서 청구가 멈췄는지 확인한 다음 카드사에 연락하세요.

실행 주체부터 끕니다

로컬 crontab

# 1) 등록된 크론을 백업부터 합니다
crontab -l > ~/crontab.backup.txt
# 2) crontab -e 로 열어 해당 줄 앞에 #을 붙입니다 (crontab -r 은 전부 지우니 쓰지 마세요)
# 3) 이미 떠 있는 프로세스를 찾아 끝냅니다
ps -ef | grep -E 'python|node' | grep -v grep
kill PID
# systemd 타이머라면
systemctl list-timers --all
sudo systemctl stop 작업이름.timer
sudo systemctl disable 작업이름.timer

클라우드 환경

# AWS Lambda: 동시 실행을 0으로 묶어 호출을 막습니다
aws lambda put-function-concurrency --function-name 함수이름 --reserved-concurrent-executions 0

# Google Cloud Scheduler: 잡을 일시중지합니다
gcloud scheduler jobs pause 잡이름 --location=리전

클라우드 쪽은 로컬보다 놓치기 쉽습니다. 스케줄러가 어디 있는지 모르면 명령을 쳐도 다른 곳에서 계속 호출됩니다. 목록을 만들 때 로컬, 서버, 클라우드 세 군데를 따로 적어 두는 편이 낫습니다.

키를 폐기하고 새로 발급합니다

공급사 콘솔에서 해당 키를 삭제하거나 비활성화합니다. 메뉴 위치는 공급사마다 자주 바뀌니 작업 시점의 공식 문서를 따라가세요. 새 키는 코드에 넣지 말고 환경 변수나 비밀 저장소에만 둡니다.

그다음 공급사 사용량 페이지에서 지출 그래프가 평평해졌는지 봅니다. 한 번 멈춘 것처럼 보여도 시간을 두고 다시 확인하세요. 멈춘 게 아니라 집계가 늦게 올라오는 경우도 있습니다.

카드사에 요청할 것과 모아 둘 로그

  • 해외 결제를 차단하거나 온라인 결제 한도를 임시로 낮춥니다. 메뉴 이름은 카드사 앱마다 다릅니다.
  • 이상거래 알림 설정이 살아 있는지 확인합니다. 알림이 꺼져 있었다면 다음 이상 결제도 조용히 지나갑니다.
  • 환불이나 이의제기를 생각 중이라면 아래 자료를 미리 모아 둡니다.
  • 청구 명세의 날짜, 금액, 가맹점명 캡처
  • 공급사 사용량 내역 화면 캡처
  • 서버 cron 로그와 해당 시간대 실행 기록
  • 키 식별 정보(뒷자리 일부)와 프로젝트 이름
  • 내가 정지 조치를 한 시각

카드사가 어떤 자료를 요구할지는 카드사마다 다릅니다. 제가 확실하게 말할 수 있는 건 로그가 있어야 설명이 된다는 점까지입니다.

무한 반복 호출이 쌓이는 모습

월 한도와 알림은 이 순서로 설정하세요

  1. 프로젝트와 키를 나눕니다. 글 생성, 이미지 분석, 실시간 응답처럼 성격이 다른 작업이 한 키를 같이 쓰면 어디서 샜는지 보이지 않습니다. 저는 운영 서비스가 여러 개라서 서비스마다 프로젝트를 따로 두는 쪽으로 정리했습니다.
  2. 사용량 알림을 여러 단계로 겁니다. 예산의 절반쯤, 거의 다 찼을 때, 초과 직전처럼 단계를 나누고, 메일만 말고 휴대폰 알림으로도 받도록 설정합니다.
  3. 월 하드 한도를 겁니다. 알림은 누군가 보고 있어야 의미가 있습니다. 자는 동안 쌓이는 요금은 알림만으로 막을 수 없습니다. 한도에 도달했을 때 공급사가 요청을 거절하는지, 청구만 멈추는지 공식 문서에서 먼저 확인하세요. 공급사마다 동작이 달라서, 테스트 키로 한도 도달 상황을 한 번 재현해 보는 쪽이 확실합니다.

가장 흔한 빈틈은 알림만 있고 하드 한도가 없는 상태입니다. 알림 메일이 와 있어도 아무도 안 보는 시간에는 요금이 계속 올라갑니다. 공급사 화면은 자주 바뀌니 설정할 때 작성 시점의 메뉴를 그대로 믿지 말고 화면을 직접 확인하세요.

요금 차단 순서를 보여주는 계단

스크립트 안에서 호출 횟수와 예산 상한을 겁니다

플랫폼 한도는 마지막 방어선입니다. 스크립트가 먼저 멈춰야 로그에도 멈춘 이유가 남습니다. 아래 코드는 킬 스위치 파일, 일일 호출 상한, 토큰 상한, 재시도 제한, 보류 큐를 한 번에 넣은 구조 예시입니다.

import json, os, random, time
from pathlib import Path

KILL_FILE = Path(os.environ.get("KILL_FILE", "/tmp/ai_job.stop"))
STATE_FILE = Path("usage_state.json")
QUEUE_FILE = Path("hold_queue.jsonl")
DAILY_CALL_LIMIT = int(os.environ["DAILY_CALL_LIMIT"])
DAILY_TOKEN_LIMIT = int(os.environ["DAILY_TOKEN_LIMIT"])
MAX_RETRIES = int(os.environ["MAX_RETRIES"])
TIMEOUT_SEC = float(os.environ["TIMEOUT_SEC"])
BASE_WAIT = float(os.environ["BASE_WAIT"])


class BudgetExceeded(Exception):
    pass


def load_state():
    today = time.strftime("%Y-%m-%d")
    state = json.loads(STATE_FILE.read_text()) if STATE_FILE.exists() else {}
    if state.get("day") != today:
        state = {"day": today, "calls": 0, "tokens": 0}
    return state


def save_state(state):
    STATE_FILE.write_text(json.dumps(state))


def check_guard(state):
    if KILL_FILE.exists():
        raise BudgetExceeded("킬 스위치 파일이 있어서 중단")
    if state["calls"] >= DAILY_CALL_LIMIT:
        raise BudgetExceeded("일일 호출 상한 도달")
    if state["tokens"] >= DAILY_TOKEN_LIMIT:
        raise BudgetExceeded("일일 토큰 상한 도달")


def hold(job):
    with QUEUE_FILE.open("a") as f:
        f.write(json.dumps(job, ensure_ascii=False) + "\n")


def call_api(fn, job, retryable=(TimeoutError, ConnectionError)):
    state = load_state()
    try:
        check_guard(state)
    except BudgetExceeded:
        hold(job)  # 건너뛰지 않고 보류 큐에 적재
        raise
    for attempt in range(MAX_RETRIES + 1):
        try:
            resp = fn(timeout=TIMEOUT_SEC)
        except retryable:
            if attempt == MAX_RETRIES:
                hold(job)
                raise
            time.sleep(BASE_WAIT * 2 ** attempt + random.random())
            continue
        # 실패 응답도 사용량에 잡히는 공급사가 있으니 집계 방식은 공급사 정책 확인 후 정하세요
        state["calls"] += 1
        usage = resp.get("usage") or {}  # 응답 구조는 SDK마다 다르니 확인
        state["tokens"] += usage.get("total_tokens", 0)
        save_state(state)
        return resp

킬 스위치는 파일 하나로 끕니다. 멈출 때는 touch /tmp/ai_job.stop, 재개할 때는 rm /tmp/ai_job.stop입니다. 스크립트를 재배포하지 않아도 되는 게 가장 큰 장점입니다.

트레이드오프도 있었습니다. 처음에는 모델별 단가표를 넣어 금액으로 계산하려고 했는데, 단가가 바뀔 때마다 고쳐야 하고 단위도 헷갈렸습니다. 그래서 토큰 합계로 단순화했습니다. 대신 토큰 상한은 청구 금액과 정확히 맞지 않습니다. 정확한 비용 추정이 필요하면 구현이 훨씬 복잡해진다는 게 제 판단입니다.

한도에 걸렸을 때 그냥 건너뛰는 방식도 있습니다. 하지만 건너뛰면 그 작업은 사라지고, 나중에 누락됐다는 사실도 알 수 없습니다. 그래서 보류 큐에 넣습니다. 이 코드는 구조를 보여 주는 예시이고, 제가 이 상태 그대로 운영에 올려 검증한 코드가 아닙니다. 본인 환경에서 테스트 키로 먼저 돌려 보세요.

사용량 한도와 알림을 알리는 게이지

상한을 걸면 자동화가 멈춘다, 부작용과 복구 방법

상한은 안전장치이지 만능이 아닙니다. 상한에 걸리면 자동화는 멈춥니다. 문제는 멈춘 위치입니다. 대개 세 가지 상태가 생깁니다.

  • 작업 유실: 보류 큐에 적재하지 않은 작업은 흔적 없이 사라집니다.
  • 중복 실행: 재개할 때 이미 끝난 작업을 다시 돌리면 같은 글이나 같은 결과가 두 번 만들어집니다.
  • 부분 완료: 여러 단계 중 일부만 끝나고 멈추면 데이터가 서로 맞지 않습니다.

막는 방법은 멱등성 키입니다. 작업마다 고유 ID를 만들고, 완료된 ID 목록을 저장합니다. 재개할 때는 완료된 ID를 건너뜁니다. 결과 파일은 임시 이름으로 쓴 뒤 이름을 바꿔서, 쓰다 멈춘 파일이 완성본처럼 보이지 않게 합니다.

import os

tmp_path = final_path + ".tmp"
with open(tmp_path, "w", encoding="utf-8") as f:
    f.write(content)
os.replace(tmp_path, final_path)  # 완성된 경우에만 최종 이름이 붙습니다

제 블로그 파이프라인에도 비슷한 중간 상태가 있습니다. 개편 전 30일 동안 공개까지 간 글은 4편, 초안으로 내려간 글은 6편이었습니다. 초안은 파일은 있는데 공개되지 않은 상태라서, 멈춘 작업과 모양이 비슷합니다. 이 상태를 자동으로 대조하는 장치를 넣는 것이 아직 숙제입니다.

가드를 붙이면서 머릿속으로 돌려 본 장면이 하나 있습니다. 여러 편을 만드는 중에 한도에 걸리면, 앞쪽 편은 공개까지 가고 뒤쪽 편은 초안에서 멈춥니다. 이 상태에서 무엇을 다시 돌릴지 모르면 중복이나 누락이 생깁니다. 실제로 겪은 사고는 아니고 설계하면서 떠올린 시나리오입니다.

부분 완료를 되돌리는 순서는 이렇게 잡았습니다.

  1. 멈춘 시각과 마지막으로 완료된 작업 ID를 확인합니다.
  2. 완료 목록과 보류 큐를 대조해 중복이나 누락이 없는지 봅니다.
  3. 부분 완료 항목은 되돌리거나 다시 쓰고, 완료 항목은 건너뜁니다.
  4. 한도를 올리거나 다음 날 재개합니다. 재개 전에 킬 스위치 파일이 없는지 확인하세요.

보류 큐를 자동으로 재개하는 부분은 아직 손으로 합니다. 멱등성 키를 붙이기 전에는 자동 재개가 중복 실행을 부를 것 같아서입니다.

이런 경우엔 상한을 걸지 마세요. 사용자가 실시간으로 기다리는 응답 서비스는 상한에 걸리면 화면이 멈추니, 상한 대신 안내 문구를 띄우고 대기시키는 방식을 써야 합니다. 결제와 직결된 기능도 상한으로 중간에 끊으면 금액과 주문 상태가 어긋날 가능성이 있습니다. 상한은 야간 배치처럼 늦어져도 되는 작업에 걸 때 가장 편합니다.

요약: 지금 할 일과 앞으로 막는 설정

5분 안에 할 일입니다.

  1. 크론 목록을 백업하고, 해당 작업을 주석 처리하거나 비활성화합니다.
  2. 떠 있는 프로세스를 끝내고, 클라우드 스케줄러나 함수 트리거도 멈춥니다.
  3. 해당 키를 폐기하고 새 키는 환경 변수에만 넣습니다.
  4. 공급사 사용량 그래프가 멈췄는지 시간을 두고 다시 봅니다.
  5. 카드사에 해외 결제 차단과 한도 임시 조정을 요청하고, 로그를 모아 둡니다.

재발 방지 점검표입니다.

  1. 프로젝트와 키를 작업 성격별로 나눴는지 확인합니다.
  2. 사용량 알림이 여러 단계로 설정되어 있고, 휴대폰으로도 오는지 확인합니다.
  3. 월 하드 한도가 걸려 있고, 초과 시 동작을 테스트 키로 확인했는지 봅니다.
  4. 스크립트에 킬 스위치, 호출 상한, 재시도 제한, 타임아웃이 들어 있는지 봅니다.
  5. 상한에 걸린 작업이 보류 큐로 가는지, 재개 시 중복을 막는 장치가 있는지 봅니다.
  6. 크론 목록을 서버, 노트북, 클라우드 세 곳으로 나눠 적어 두었는지 확인합니다.

저는 매달 초에 카드 명세와 공급사 대시보드 사용량을 맞춰 보고, 크론 목록을 백업본과 비교합니다. 이 블로그는 2026년 7월 7일에 열었고, 10월 6일 기준 공개 글이 57편입니다. 글을 자동으로 만드는 만큼 크론도 늘었습니다. 이 점검이 아직 귀찮다는 건 솔직히 인정합니다. 그래도 청구서를 열 때마다 놀라는 것보다는 낫습니다.

운영 과정 기록은 wallenstein.dev에서 프로젝트별로 볼 수 있습니다.


글쓴이 정보

1인 빌더 아일리고가 씁니다. 잘된 것도 망한 것도 적습니다. 영상은 제가 만든 ClipSquare 에서 나옵니다.