프롬프트를 고쳤더니 자동화 결과가 달라졌다면
AI 프롬프트 버전 관리하는 방법을 찾고 계신다면, 지금 상황이 대충 그려질 겁니다. 어제까지 잘 나오던 자동화 결과가 오늘 이상하고, 바뀐 건 프롬프트 몇 줄뿐이에요. 저도 원클립AI에서 자동화를 굴리다 이런 일을 겪었습니다. 요약 문장을 조금 다듬었더니 출력 말투가 달라졌고, 한참 지나서야 후속 처리 단계에서 빈 값이 들어가고 있다는 걸 알았어요. 로그에는 에러가 한 줄도 없었습니다.
이 문제가 까다로운 이유는 에러가 안 난다는 데 있습니다. 프로그램이 죽으면 어디서 틀렸는지 바로 보이는데, 결과만 살짝 달라지면 사람은 “원래 이랬나” 하고 넘기게 됩니다. 이 블로그도 자동 파이프라인이 글을 쓰고 공개까지 보내는데, 개편 전 30일 동안 공개까지 간 글은 4편, 초안으로 내려간 글은 6편이었습니다. 문체 검사 1회차에서는 20번 중 15번을 떨어뜨렸고요. 에러는 없었고 결과만 조용히 나빠져 있었습니다.
이 글에서는 기록 단위, 원인을 찾는 순서, 되돌리는 절차를 차례로 적습니다. 잘된 방식만 적지 않고 헛돈 부분도 같이 적을게요.
프롬프트 버전은 언제, 어떤 단위로 남겨야 하나
기록 시점은 저장 버튼을 누른 순간이 아니라 실제 자동화에 반영된 순간으로 잡습니다. 파일에서 고치고 저장만 해 둔 건 실험이고, 배포 스위치를 올린 시점부터가 기록 대상이에요. 오타를 고친 것도 배포했다면 기록합니다. 오타가 결과를 바꾸는지는 돌려 보기 전엔 모르거든요.
처음에는 프롬프트 본문만 저장했습니다. 나중에 같은 문장으로 다시 돌려 보려는데 재현이 안 됐어요. 그 사이에 호출 설정의 온도 값과 모델 이름이 바뀌어 있었는데 기록에는 없었습니다. 본문만으로는 과거 상태를 되살릴 수 없었습니다.
지금은 배포 한 건마다 아래 묶음을 남깁니다. 그대로 복사해서 쓰셔도 됩니다.
버전: v2026.11.09-02
배포일시: 2026-11-09 14:20
직전 버전: v2026.11.05-01
변경 이유: 요약에 불릿이 섞여 후속 파싱 실패, 불릿 금지 문구 추가
모델: 호출에 쓴 모델 ID 전체 문자열
온도: 0.3
입력 샘플: sample-set-A 003, 007
후처리 코드 커밋: a1b2c3d
버전 번호는 날짜와 순번을 같이 쓰는 방식을 골랐습니다. v1, v2 같은 숫자 증가형은 보기 깔끔하지만, 같은 날 두 번 고치면 순서가 헷갈리고 배포일이 번호에 드러나지 않아요. 날짜+순번형은 파일명만 봐도 언제 바뀐 버전인지 잡힙니다.
결과가 나빠졌을 때 원인 버전을 찾는 순서
저는 출력 형식이 한 글자 차이로 바뀌어서 한참 헤맸던 적이 있습니다. 프롬프트 끝의 콜론 하나를 지웠더니 모델이 출력 맨 앞에 코드펜스를 붙이기 시작했어요. 후처리의 JSON 파서가 그 첫 줄에서 멈췄고, 파서 코드를 여러 번 뜯어본 뒤에야 프롬프트 diff를 열었습니다. 그 뒤로는 원인을 찾을 때 순서를 정해 두고 따릅니다.
- 재현 입력을 고정한다. 문제가 된 결과 하나만 보고 판단하지 말고, 입력 샘플 하나를 고정해서 같은 입력으로 다시 돌립니다. 같은 입력인데 결과가 매번 다르면 프롬프트보다 모델이나 입력 쪽을 먼저 의심합니다.
- 최근 버전과 직전 정상 버전을 나란히 실행한다. 같은 입력으로 두 버전을 돌리고 출력을 out_old.txt, out_new.txt로 저장해 diff를 봅니다. 읽기 전에 diff부터 보는 게 빠릅니다.
- 버전 사이를 반씩 좁힌다. 정상 버전과 깨진 버전 사이에 중간 버전이 있으면 가운데를 같은 입력으로 돌려 어느 쪽에서 깨졌는지 봅니다. 이진 탐색처럼 반씩 줄이면 후보가 금방 줄어요.
이 순서에서 입력 샘플 세트는 작게 시작하는 게 좋습니다. 처음부터 많이 모으면 관리가 안 돼요. 정상 결과를 사람이 눈으로 확인한 샘플만 골든 셋으로 묶어 두고, 문제가 생기면 여기에 새 샘플을 추가합니다.
프롬프트가 원인이 아닌 경우도 있습니다. 프롬프트와 입력이 같은데 결과가 달라졌다면 모델 별칭이 가리키는 대상이 바뀌었을 수 있고, 업스트림에서 입력 필드 순서가 바뀌었을 수도 있습니다. 이때 버전을 아무리 되돌려 봐야 소용이 없어요. 그래서 버전 탐색 전에 입력 형식과 모델 ID부터 확인합니다.

되돌릴 때 입력값과 설정까지 같이 맞춰야 하나
프롬프트만 되돌렸는데 결과가 그대로인 적이 있었습니다. 프롬프트는 직전 버전으로 돌아갔는데, 호출 설정에 모델 이름을 별칭으로 적어 두었고 그 별칭이 가리키는 모델이 그 사이 바뀌어 있었어요. 이건 제 쪽에서 되돌릴 수 없는 변경이었습니다. 그 뒤로 모델 ID는 전체 문자열로 적고, 기록에도 남깁니다.
그래서 되돌림의 단위는 프롬프트 하나가 아니라 세트입니다.
| 묶음 항목 | 무엇을 남기나 | 되돌릴 때 확인할 것 |
|---|---|---|
| 프롬프트 본문 | 버전 파일 전체 | 줄바꿈과 공백까지 그대로 |
| 모델 | 모델 ID 전체 문자열 | 별칭 대신 전체 이름 |
| 온도와 샘플링 | 설정값 그대로 | 기본값과 다르게 둔 이유 |
| 입력 샘플 | 샘플 세트 ID와 파일 | 같은 샘플로 돌린 결과 |
| 후처리 코드 | 커밋 해시 | 파서가 프롬프트 출력 형식과 맞는지 |
전부 맞춰야 하는 건 아닙니다. 결과 품질만 보는 실험이라면 온도를 굳이 맞출 필요는 없어요. 반대로 항목을 매번 전부 맞추면 기록 비용이 커져서 결국 아무도 안 쓰게 됩니다. 저는 후처리 형식에 영향을 주는 항목, 즉 모델, 출력 형식 프롬프트, 파서 커밋만 필수로 묶고 나머지는 있으면 적는 쪽으로 두었습니다.
완벽한 재현이 안 될 때도 있습니다. 모델 쪽에서 바뀐 부분은 제가 되돌릴 수 없어요. 그래서 목표는 같은 결과를 복원하는 게 아니라, 같은 입력에서 어디가 달라졌는지 증거를 남기는 것에 가깝습니다.

파일, 노션, 깃 중 1인 운영자에게 맞는 저장 방식
셋 다 옮겨 써 봤습니다. 파일로 시작했을 때는 금방 흩어졌어요. 2026년 10월 6일 기준으로 작업 폴더가 서버에 41개, 노트북에 35개 있었고 크론도 서버 70개, 노트북 9개가 돌고 있었습니다. 최신본이 어느 쪽에 있는지 매번 찾아야 했어요.
노션은 설명과 메모를 쓰기 좋았습니다. 다만 프롬프트 원문의 diff를 보기 어렵고, 붙여넣기 과정에서 들여쓰기나 공백이 달라지는 걸 놓쳤습니다. 그 공백이 결과를 바꾼 적도 있어요.
깃은 이력이 가장 확실했습니다. 입문 비용은 있어요. 자동화가 파일을 읽는 경로와 커밋 기준을 맞춰 주는 세팅이 처음엔 번거로웠습니다.
| 저장 방식 | 변경 이력 | 롤백 난이도 | 입문 비용 | 자동화 연결 |
|---|---|---|---|---|
| 파일 | 파일명 규칙에 의존, 쉽게 흩어짐 | 덮어쓰기라 위험 | 거의 없음 | 경로가 고정되면 쉬움 |
| 노션 | 페이지 기록은 있으나 diff가 약함 | 원문을 다시 복사해야 함 | 낮음 | API 연결을 따로 세팅 |
| 깃 | 커밋마다 diff와 이유 | 이전 커밋 체크아웃으로 복원 | 중간 | 파일 경로로 바로 읽힘 |
1인 운영이라면 깃 저장소 하나를 추천합니다. 프롬프트 파일, 설정 파일, 샘플 ID 목록, 후처리 코드를 같은 폴더에 두고, 커밋 메시지 한 줄을 변경 이유로 씁니다. 노션은 긴 설명이 필요할 때만 링크로 씁니다. 팀 단위라면 답이 달라질 수 있습니다. 여러 사람이 승인하고 리뷰해야 하는 구조라면 깃 위에 리뷰 절차를 얹거나 다른 도구가 맞을 수 있어요. 저는 팀 운영을 해 본 적이 없어서 거기까지는 확실히 말씀드리기 어렵습니다.

기록을 귀찮아하지 않고 계속 남기는 최소 규칙
기록은 여러 번 포기했습니다. 항목을 많이 요구하는 양식은 금방 안 쓰게 되더라고요. 지금은 규칙을 줄여서 아래 세 가지만 지킵니다. 규칙 개수는 적을수록 기억에 남습니다.
- 배포한 변경만 기록한다. 실험하면서 여러 번 고친 건 기록에서 뺍니다. 변경 한 건에 기록 한 건이 기본이고, 목적이 같으면 여러 줄을 고쳐도 한 번에 묶습니다.
- 한 줄 이유를 반드시 쓴다. 이유가 없으면 커밋하지 않습니다. 이유를 쓰려다 막히면 그 변경은 대개 필요 없던 변경이었어요.
- 이상이 생기면 기록부터 확인한다. 프롬프트를 고치기 전에 최근 배포 기록과 실행 로그의 시각을 대조합니다.
기록이 빠진 구간은 실행 로그의 타임스탬프와 배포 시각을 맞춰서 어느 버전이 돌았는지 역추정합니다. 완벽하진 않습니다. 제 쪽에도 기록이 빠진 구간이 아직 남아 있어요.
이 방식이 맞지 않는 경우와 지금 시작할 행동
하루에도 여러 번 손보는 초안 단계 프롬프트에 배포 기록까지 붙이면 기록이 본업을 잡아먹습니다. 이럴 땐 실험용 파일을 따로 두고, 실제 자동화에 올릴 때만 버전을 찍는 쪽이 낫습니다.
팀 승인이 필요하다면 배포 전에 누군가 확인하고 승인 기록을 남기는 단계가 들어가야 합니다. 한 줄 로그만으로는 누가 승인했는지 추적이 안 돼요. 이 부분은 제가 직접 해 보지 않은 영역입니다.
오늘 바로 할 수 있는 행동은 이겁니다.
- 지금 쓰는 프롬프트 파일을 깃 저장소에 넣고, 현재 상태를 첫 버전으로 커밋합니다. 커밋 메시지에는 이 시점이 기준점이라는 이유를 적습니다.
- 호출 설정의 모델 별칭을 전체 ID로 바꾸고, 온도와 샘플 세트 ID를 같은 폴더의 설정 파일에 적습니다.
- 입력 샘플을 몇 개만 골라 정상 결과를 사람이 확인한 뒤 골든 셋으로 둡니다.
아일리고는 원클립AI에서 이 자동화를 직접 굴리면서 이 방식으로 버전을 쌓고 있습니다. 기록이 빠진 구간은 남아 있고, 이 규칙도 운영하면서 계속 고칠 생각입니다.
참고한 공식 문서
혼자 자동화로 서비스를 굴리는 아일리고입니다. 숏폼 영상은 제가 만든 ClipSquare 로 뽑습니다.
