중복 실행 방지 안 하면 비용이 두 배 나갑니다

Pipedeck 실제 화면

작성자

카테고리:

자동화 중복 실행, 왜 자꾸 비용이 두 배로 나갈까?

크론 자동화를 돌리다 보면 가끔 같은 작업이 두 번 실행되는 날이 있다. 나도 한 번 겪었다. API 호출이 정확히 두 배로 나갔고, 월말에 청구서를 보고 한참 멍해 있었다. 이게 십 원, 백 원 수준이면 그냥 넘어가는데, 임베딩 API에 이미지 생성 API까지 묶여 있으면 얘기가 달라진다.

제일 흔한 원인은 이벤트 트리거의 지연이다. 웹훅이 한 번 늦게 도착하면 이미 실행된 작업인지 아닌지 알 수가 없다. 크론은 더하다. 정해진 시간에 실행되는 구조라 이전 실행이 아직 끝나지 않았는데도 다음 실행이 큐에 들어간다. 그러면 두 개가 동시에 돌면서 같은 데이터를 집어서 같은 API를 두 번 부른다.

이벤트 트리거의 지연과 중복 호출

웹훅 기반 트리거는 “이벤트가 발생했다”는 신호를 받아 처리를 시작한다. 문제는 이 신호가 늦게 도착하거나 두 번 도착할 때다. 네트워크 지연으로 같은 이벤트가 중복 수신되는 경우, 첫 번째 신호로 시작된 작업이 아직 진행 중인데 두 번째 신호가 들어와서 똑같은 작업을 또 시작한다. 비용이 두 배로 나가는 건 이 순간이다.

무인 크론 파이프라인의 치명적 함정

2026년 10월 6일 기준으로 내 크론이 서버에 70개, 노트북에 9개 돌고 있다. 이걸 전부 사람이 감시할 수는 없다. 크론의 가장 큰 함정은 “실행이 끝났는지”를 크론 자체가 모른다는 거다. 매일 오전 9시에 실행하라고 해놓으면, 9시에 실행되는 게 아니라 9시에 “실행해라”라고 명령만 내린다. 전날 9시 작업이 9시 30분까지도 안 끝났으면? 두 작업이 같은 데이터를 잡고 엉킨다.

서버 없이 1인 운영자가 바로 쓰는 중복 실행 방지 세팅

별도 서버를 세팅하지 않아도 GAS(Google Apps Script)와 Supabase만으로 잠금(Lock)을 구현할 수 있다. 나도 실제로 이 패턴으로 돌리고 있다. 핵심은 “실행 중”이라는 상태를 어딘가에 기록해두고, 다음 실행이 시작되기 전에 그 상태를 확인하는 거다.

상태 플래그(Boolean)로 간단하게 막는 재실행

가장 단순한 방법은 boolean 플래그 하나를 데이터베이스에 두는 거다. Supabase 기준으로 설명하면, 실행 상태를 저장할 테이블을 하나 만들고, 실행 전에 체크한다.

-- Supabase: 실행 상태 테이블
CREATE TABLE job_lock (
  job_name TEXT PRIMARY KEY,
  is_running BOOLEAN DEFAULT false,
  locked_at TIMESTAMPTZ
);

-- 실행 전 확인
SELECT is_running FROM job_lock WHERE job_name = 'daily_blog_pipeline';
-- true면 중단, false면 아래 UPDATE 실행
UPDATE job_lock
SET is_running = true, locked_at = now()
WHERE job_name = 'daily_blog_pipeline' AND is_running = false;
-- affected rows가 0이면 누가 먼저 잡은 거다. 중단.

이걸 GAS에서 쓰려면 UrlFetchApp으로 Supabase REST API를 호출하면 된다. 어려운 게 없다. 그런데 이 방식에는 함정이 있다. 작업이 에러로 죽으면 is_running이 true인 채로 남아서 그 다음부터 모든 실행이 막힌다. 이건 뒤에서 복구 로직으로 다룬다.

데이터베이스 타임스탬프를 활용한 가성비 잠금(Lock)

플래그만 쓰면 “에러로 죽었을 때 풀어주는” 로직이 필수다. 그래서 나는 타임스탬프를 함께 기록한다. 잠금을 걸 때 locked_at에 현재 시간을 찍어두고, 실행이 끝나면 is_running을 false로 돌린다. 만약 실행이 도중에 죽어서 플래그가 안 풀렸으면, 다음 실행 시작 시 locked_at이 일정 시간 이상 지난 경우 강제로 잠금을 해제한다.

// GAS에서 Supabase REST API로 잠금 확인 + 타임아웃 복구
function checkAndAcquireLock() {
  const jobName = 'daily_blog_pipeline';
  const TIMEOUT_MINUTES = 10;

  // 현재 잠금 상태 조회
  const url = SUPABASE_URL + '/rest/v1/job_lock?job_name=eq.' + jobName;
  const res = UrlFetchApp.fetch(url, {
    headers: { 'apikey': SUPABASE_KEY, 'Authorization': 'Bearer ' + SUPABASE_KEY }
  });
  const row = JSON.parse(res.getContentText())[0];

  if (row && row.is_running) {
    // 타임아웃 체크
    const lockedMs = new Date(row.locked_at).getTime();
    const elapsed = (Date.now() - lockedMs) / 60000;
    if (elapsed < TIMEOUT_MINUTES) {
      // 아직 실행 중이거나 이전 실행이 정상 진행 중. 중단.
      return false;
    }
    // 10분 넘었으면 강제 해제
    // (이 아래 UPDATE 로직 실행)
  }

  // 잠금 획득
  const updateUrl = SUPABASE_URL + '/rest/v1/job_lock?job_name=eq.' + jobName;
  UrlFetchApp.fetch(updateUrl, {
    method: 'PATCH',
    headers: {
      'apikey': SUPABASE_KEY,
      'Authorization': 'Bearer ' + SUPABASE_KEY,
      'Content-Type': 'application/json'
    },
    payload: JSON.stringify({ is_running: true, locked_at: new Date().toISOString() })
  });
  return true;
}

이 패턴으로 내 블로그 자동 파이프라인을 돌리고 있다. 블로그 글 한 편을 자동으로 만들어 공개하는 데 13분에서 15분 걸리는데, 그 사이에 크론이 또 실행되는 걸 이 잠금 하나로 막고 있다.

Pipedeck 실제 화면

Zapier·Make 같은 노코드 도구에서도 중복 실행을 막을 수 있을까?

코드를 안 쓰는 분들도 답이 있다. 노코드 툴 자체에 상태를 저장하는 기능이 있어서, 그걸로 임시 락 역할을 시킬 수 있다.

Zapier 스토어(Store) 모듈로 상태 관리하기

Zapier에는 Store API라는 게 있다. 트리거가 발생할 때 특정 키에 값을 저장하고, 다음 실행에서 그 키를 읽어서 이미 처리된 이벤트인지 확인하는 식이다. 웹훅이 중복 수신되면 두 번째 실행 시 Store에서 키를 조회했을 때 이미 값이 있으니까 거기서 흐름을 끊으면 된다.

1. 웹훅 트리거가 이벤트 수신
2. Store API에서 키(event_id) 조회
3. 값이 있으면 "이미 처리됨" → Zap 종료
4. 값이 없으면 Store에 event_id 저장 후 작업 진행

Store에 넣는 값은 처리 완료 후에는 지워도 되고, 하루 단위로 만료시켜도 된다. Zapier Storage 모듈에서 TTL 설정을 지원하니까 그걸 쓰면 별도 클리너가 필요 없다.

Make 라우터(Router)와 필터 조건으로 꼬임 방지하기

Make(구 Integromat)에서는 라우터를 하나 달고, 첫 번째 경로에 Store 모듈로 키 존재 여부를 확인하는 필터를 건다. 키가 없을 때만 두 번째 경로로 빠져서 실제 작업을 실행한다. 이때 키에 타임스탬프를 같이 저장하면, 앞에서 말한 타임아웃 복구도 노코드로 구현할 수 있다. 현재 시간과 저장된 타임스탬프의 차이를 계산하는 수식 모듈을 넣고, 그 차이가 일정 시간 이상이면 강제로 키를 지우는 경로를 추가로 만들면 된다.

Pipedeck 실제 화면

잠금(Lock)을 걸었는데 풀리지 않으면 어떻게 복구하나요?

잠금 세팅을 처음 했을 때 겪은 문제다. 어느 날 블로그 자동 파이프라인이 안 돌아가서 로그를 봤더니, is_running이 true로 남아 있었다. 며칠 전에 API가 타임아웃 나면서 작업이 중간에 죽었고, 잠금은 안 풀려 있었다. 그 뒤로 매번 "이미 실행 중"으로 판단해서 아무것도 안 돌아간 거다.

데드락(Deadlock)에 빠진 자동화의 특징

데드락 상태가 되면 로그에 에러가 안 찍힌다. 그냥 "잠금 중이므로 실행 안 함"이라는 조용한 스킵만 반복된다. 그래서 더 무섭다. 비용이 나가는 것보다 아무 일도 안 일어나는 게 더 큰 문제일 수 있다. 내 경우에는 블로그 글이 며칠 안 올라와서야 발견했다.

타임아웃(Time-out) 세팅으로 안전하게 잠금 풀기

앞서 보여준 코드처럼 locked_at 타임스탬프를 기록해두면 복구가 가능하다. 내 기준으로 블로그 파이프라인은 15분 안에 끝나니까 타임아웃을 10분보다 넉넉하게 잡는다. 작업이 정상적으로 15분 걸리는데 타임아웃을 5분으로 잡으면, 정상 작업이 돌고 있는데 잠금이 풀려서 또 중복 실행이 시작된다. 타임아웃은 실제 작업 시간보다 충분히 길게 잡아야 한다.

복구 로직은 단순하다. 다음 실행 시작 시 locked_at이 타임아웃을 초과했으면 is_running을 false로 강제 업데이트하고 잠금을 다시 획득한다. 이때 이전 작업이 진짜로 아직 돌고 있는 중인지 아닌지는 알 수 없다. 그래서 로그를 남겨서 나중에 확인할 수 있게 해두는 게 중요하다. "잠금 강제 해제: locked_at = 2026-11-01T09:00:00Z" 같은 로그 한 줄이면 된다.

중복 실행 방지 세팅의 부작용: 정상 작업이 안 돌아갈 때

잠금을 너무 빡빡하게 걸면 또 문제가 생긴다. 정상적으로 들어오는 작업까지 "이미 실행 중"으로 간주돼서 무시된다. 이걸 겪으면 중복 방지 세팅을 안 하느니만 못한 상태가 된다.

너무 빡빡한 조건이 만드는 작업 누락

웹훅 기반 트리거에서 이런 일이 잦다. 사용자가 어떤 액션을 취했을 때 그 이벤트가 거의 동시에 두 개 도착하는데, 진짜로 다른 이벤트일 수 있다. 이걸 단순히 "같은 이벤트 ID로 판단"해서 막으면 두 번째 이벤트를 놓친다. 중복인지 아닌지를 판단하는 기준이 중요하다. 이벤트 자체의 고유 ID가 있으면 그걸로 판단하고, 없으면 타임스탬프 범위로 묶어서 판단해야 한다. 예를 들어 "같은 사용자, 같은 액션, 3초 이내"면 중복으로 보는 식이다.

실시간 처리가 지연되는 트레이드오프

잠금을 걸면 앞의 작업이 끝날 때까지 뒤의 작업이 대기하거나 버려진다. 실시간성이 중요한 서비스라면 잠금 시간을 최소화하거나, 작업 단위를 쪼개서 짧게 돌리는 게 맞다. 내 자동 블로그 파이프라인은 13분에서 15분 걸리는 작업이라 잠금 시간이 길어도 큰 문제가 없지만, 사용자 요청에 즉시 응답해야 하는 서비스라면 이 패턴을 그대로 쓰면 안 된다. 이 경우에는 큐(Queue) 구조로 바꿔서 작업을 순차적으로 처리하되, 중복 이벤트는 큐에 넣기 전에 걸러내는 게 맞다.

Pipedeck 실제 화면

요약 및 1인 빌더를 위한 자동화 안정화 체크리스트

중복 실행을 막는 건 이론이 아니라 돈과 직결된다. 한 번 꼬이면 API 호출비가 배로 나가고, 심하면 데이터가 꼬여서 수동으로 복구해야 한다. 핵심은 잠금 상태를 기록할 장소(Supabase, GAS Properties, Zapier Store 등)를 정하고, 실행 전후로 그 상태를 확인하고 갱신하는 루틴을 세팅하는 거다. 그리고 타임스탬프 기반 타임아웃으로 잠금이 안 풀리는 상황까지 커버해야 한다.

비용과 데이터를 지키는 자동화 세팅 점검표

  1. 중복 실행 가능 지점 파악 — 크론과 웹훅 트리거가 겹치는 지점이 있는지 확인한다.
  2. 잠금 상태 저장소 확보 — Supabase 테이블, GAS PropertiesService, Zapier Store 중 하나를 잠금 기록용으로 쓴다.
  3. 실행 전 플래그 확인 로직 추가 — 잠금 상태가 true면 즉시 종료한다.
  4. 잠금 획득 시 타임스탬프 기록 — locked_at을 남겨서 타임아웃 복구의 기준으로 쓴다.
  5. 작업 종료 후 플래그 해제 — try-finally 구조로 에러가 나도 잠금이 풀리게 한다.
  6. 타임아웃 기준 설정 — 실제 작업 시간보다 넉넉하게 잡되, 무한정 기다리지는 않는다.
  7. 강제 해제 로그 남기기 — 잠금이 강제로 풀렸을 때 로그를 남겨서 나중에 원인을 추적할 수 있게 한다.
  8. 배포 후 3일간 모니터링 — 잠금이 정상적으로 획득·해제되는지 로그로 확인한다.

이 세팅을 해두면 다음 달 청구서에서 중복 호출 비용이 사라진 걸 볼 수 있다. 서버 한 대 없이 1인으로 돌리는 사람에게는 이 정도 세팅이면 충분하다.


글쓴이 정보

혼자 자동화로 서비스를 굴리는 아일리고입니다. 숏폼 영상은 제가 만든 ClipSquare 로 뽑습니다.

자주 나오는 질문

자동화 중복 실행으로 API 비용이 두 배로 나가는 이유는 무엇인가요?

웹훅이나 크론 트리거에서 네트워크 지연이 발생하면 같은 이벤트가 중복 수신되거나 이전 실행이 끝나기 전에 다음 실행이 큐에 들어갈 수 있습니다. 이때 두 개의 프로세스가 같은 데이터를 잡고 동시에 API를 호출하면서 비용이 정확히 두 배로 청구됩니다.

크론 작업 중복 실행을 가장 간단하게 막는 방법은 무엇인가요?

데이터베이스에 boolean 플래그를 두어 현재 작업이 실행 중인지 확인하는 방식이 가장 단순합니다. 실행 전에 플래그를 체크하고 true면 중단, false면 실행하도록 설정하면 동시 실행을 기본적으로 방지할 수 있습니다.

Boolean 플래그로 중복 실행을 막을 때 주의할 점은 무엇인가요?

작업이 에러로 종료되면 플래그가 true인 채로 남아 다음 실행부터 모두 막히는 치명적인 문제가 발생합니다. 따라서 에러 발생 시 플래그를 false로 복구하는 예외 처리 로직을 반드시 추가해야 합니다.

잠금(Lock)이 에러로 인해 풀리지 않는 문제를 어떻게 해결하나요?

잠금을 걸 때 타임스탬프를 함께 기록해두고 다음 실행 시점에 경과 시간을 체크합니다. 특정 시간(예: 10분) 이상 지났다면 비정상 종료로 간주하고 강제로 잠금을 해제하여 새 작업을 실행하는 방식으로 복구할 수 있습니다.

별도 서버 없이 크론 중복 실행을 방지할 수 있나요?

구글 앱스 스크립트(GAS)와 수파베이스(Supabase)를 조합하면 별도 서버 없이도 잠금을 구현할 수 있습니다. GAS에서 UrlFetchApp으로 Supabase REST API를 호출해 실행 상태를 관리하면 됩니다.

자동화 파이프라인이 늘어났을 때 중복 실행을 감시하기 어려운 이유는요?

크론은 실행 완료 여부를 스스로 알지 못하고 지정된 시간에 실행 명령만 내리기 때문입니다. 수십 개의 크론이 돌아가면 전부 사람이 감시할 수 없어 이전 작업이 끝나지 않은 상태에서 다음 작업이 겹치기 쉽습니다.