무중단 배포 안 하면 자동화 새벽에 멈춥니다

Pipedeck 실제 화면

작성자

카테고리:

무중단 배포 안 하면 자동화는 새벽에 멈춥니다

2026년 10월 6일 기준으로 내 서버에는 70개의 크론이 돌고 있다. 노트북에도 9개가 더 있다. 새벽 시간대에 이 크론들이 도배를 시작하면, 코드를 업데이트하려다 서비스가 뻗어버리는 사고가 터진다.

자동화 파이프라인 무중단 배포하는 방법을 고민하기 전까지는, 그냥 SSH로 접속해서 git pull하고 pm2 restart를 때리는 식으로 업데이트를 했다. 어느 날 새벽에 파이프라인이 처리 중이던 데이터가 중간에 끊겼다. 고객이 보는 화면에서는 서비스가 멈춰있고, 백그라운드에서는 데이터가 꼬여서 날아갔다. 인프라 팀이 따로 없으니까 새벽에 눈 뜨고 서버 로그를 뒤져야 했다.

1인 개발자한테 쿠버네티스 같은 오케스트레이션 도구는 러닝 커브도 비용도 과하다. 클러스터 관리 자체가 또 다른 일이 돼버린다. 인프라 없이, 코드를 중단 없이 배포하는 기본 전략이 따로 필요했다.

인프라 없이 서비스 중단 없이 코드를 배포하는 방법

PM2와 systemd를 활용한 초경량 프로세스 교체

원클립AI(https://oneclip.org) 같은 서비스를 굴릴 때, 나는 PM2와 systemd 조합을 쓴다. PM2의 reload 기능을 쓰면 진행 중인 요청을 처리하면서 새로운 프로세스로 넘어간다. 로드 밸런서 없이도 포트를 바꿔치기하며 트래픽을 우회시킬 수 있다.

Nginx 리버스 프록시를 앞에 두고, PM2 클러스터 모드로 돌린다. 새 버전을 띄울 때는 다른 포트로 구동시킨 뒤 Nginx upstream 설정을 교체한다. 설정 리로드는 0.1초도 안 걸린다.

# pm2 ecosystem.config.js 예시
module.exports = {
  apps : [{
    name: "oneclip-api",
    script: "./server.js",
    instances: 2,
    exec_mode: "cluster",
    wait_ready: true,
    listen_timeout: 3000,
    kill_timeout: 2000
  }]
}

Nginx 리버스 프록시로 트래픽 우회하기

이중화는 커녕 서버 한 대로 버티는 1인 개발자에게 Nginx upstream 전환은 거의 유일한 무중단 배포 세팅이다. 포트 3001에서 기존 버전, 3002에서 신규 버전을 띄운다. Nginx가 3002로 트래픽을 보내는 설정을 적용한 뒤, 3001을 내린다.

Pipedeck 실제 화면

크론 작업이 실행 중일 때 스크립트를 안전하게 교체하는 방법

Graceful Shutdown: 진행 중인 작업이 끝날 때까지 기다리기

파이프라인을 돌리는 크론이 실행 중일 때 파일을 덮어쓰면 충돌이 난다. 스크립트가 반쯤 읽힌 상태에서 코드가 바뀌어버리니 에러가 나거나 데이터가 유실된다. SIGTERM 시그널을 잡아서 진행 중인 배치 작업이 끝날 때까지 기다리게 만들어야 한다.

process.on('SIGTERM', () => {
  console.log('종료 대기 중. 현재 작업 마무리 대기');
  server.close(() => {
    process.exit(0);
  });
});

파일 락(File Lock)과 큐(Queue)를 활용한 크론 충돌 방지

배포 스크립트 안에 파일 락 검사를 넣어둔다. 크론이 락 파일을 잡고 있으면 배포를 미루거나, 아니면 크론 작업을 큐에 쌓아둔 뒤 배포가 끝나면 꺼내 쓰는 식이다. 나는 flock 명령어를 셸 스크립트에 넣어서 크론 중복 실행과 배포 충돌을 막는다.

# 크론 작업 스크립트에 flock 적용
* * * * * /usr/bin/flock -n /tmp/mypipe.lock /path/to/script.sh
Pipedeck 실제 화면

배포 중 에러가 나면 원래 상태로 자동 롤백(Rollback) 세팅

헬스 체크 실패 시 자동 이전 버전 구동 스크립트

코드를 올리고 나서 헬스 체크를 돌린다. 상태 코드가 200이 안 떨어지면 이전 버전 디렉토리를 다시 symlink로 연결하고 PM2를 리로드한다. 이 루틴을 배포 스크립트 안에 넣어뒀다.

HEALTH=$(curl -s -o /dev/null -w "%{http_code}" http://localhost:3002/health)
if [ "$HEALTH" != "200" ]; then
  ln -sfn /var/www/releases/prev /var/www/current
  pm2 reload ecosystem.config.js
fi

DB 스키마 변경을 동반하는 안전한 롤백 전략

DB 마이그레이션이 꼬이면 롤백도 의미가 없다. 나는 스키마 변경을 두 단계로 나눈다. 먼저 신규 코드가 읽을 수 있는 호환 필드를 추가하고 배포한다. 기존 코드가 안정적으로 돈 걸 확인한 뒤, 다음 배포 때 이전 필드를 삭제한다. 한 번에 필드를 없애려다가 서비스가 멈춰본 적이 있어서 이렇게 굳혔다.

무중단 배포를 세팅할 때 가장 많이 실패하는 지점

테스트 커버리지 부족으로 인한 신규 코드 뻗음

로컬에서만 돌려보고 올렸는데 서버 환경 변수가 달라서 켜지자마자 뻗는 경우가 있다. 자동화 파이프라인 구축 단계에서 배포 전 테스트 스텝을 빼먹어서 신규 코드가 프로덕션에서 곧바로 죽어버린 거다.

DB 마이그레이션과 무중단 배포의 타이밍 엇갈림

신규 코드 배포 직후 바로 마이그레이션을 돌렸다가 기존 코드가 에러를 뿜은 적이 있다. 두 프로세스가 번갈아 돌고 있는 무중단 배포 상황에서는, 스키마가 중간에 바뀌면 구버전 프로세스가 멈춰버린다. 마이그레이션 타이밍을 맞추지 않으면 파이프라인이 통째로 멈춘다.

Pipedeck 실제 화면

기존 파이프라인을 무중단으로 넘기기 위한 오늘의 최소 조치

당장 적용할 최소 체크리스트

  • 배포 전 헬스 체크 스크립트 추가: HTTP 상태 코드 200 확인 후 트래픽 전환
  • PM2 wait_ready 옵션 켜기: 앱이 준비될 때까지 Nginx 트래픽 받지 않기
  • DB 마이그레이션 분리: 필드 삭제는 다음 배포로 미루기

안전한 자동화 파이프라인 완성을 위한 다음 스텝

지금은 서버 1대로 이렇게 버티고 있다. Pipedeck(https://pipedeck.wallenstein.dev) 같은 파이프라인 관리 도구를 붙여서 배포 자동화 루틴을 더 촘촘하게 만들려고 한다. 작업 폴더를 보니 서버에만 41개, 노트북에 35개가 쌓여있다. 어느 날 갑자기 백업 폴더 하나가 날아갔는데 그게 자동화 스크립트였다. 이런 사고를 막으려면 자동 복구 루틴을 글로 적어두는 걸 넘어 시스템 자체에 녹여야 한다.


글쓴이 정보

1인 빌더 아일리고가 씁니다. 잘된 것도 망한 것도 적습니다. 영상은 제가 만든 ClipSquare 에서 나옵니다.