AI 블로그 글, 자동 발행 전 무엇을 확인해야 할까요?

AI 글 발행 전 검수 관문

작성자

카테고리:

AI 블로그 글 자동 발행을 붙여 놓으면 가장 불안한 순간은 글이 완성된 때가 아니라 공개 버튼이 눌린 직후다. 색인이 먼저 되고 나면 틀린 문장이 검색 결과에 한동안 남는다. 지우면 끝이라고 생각했는데, 검색엔진이 한 번 긁어 간 내용은 조금 더 남는다.

이 블로그는 2026년 7월 7일에 열었다. 자동 파이프라인이 하루 3~4편씩 쓰고, 지어낸 제품명이나 없는 링크만 걸러서 바로 공개한다. 그러니까 필터가 잡는 건 눈에 띄는 사고뿐이고, 숫자가 살짝 틀린 문장이나 중복된 문단은 그냥 통과한다.

개편 전 30일 동안 파이프라인이 공개까지 보낸 글은 4편, 초안으로 내려간 글은 6편이었다. 문체 검사 1회차에서는 20번 중 15번을 떨어뜨렸다. 자동 검사가 일을 하고 있었다는 뜻이면서, 통과한 글도 그대로 믿어도 되는 글은 아니라는 뜻이었다.

나는 춘천의 AI 스튜디오 원클립AI에서 자동화로 서비스를 만들고 굴리는 1인 빌더다. 검수 없이 나간 글의 비용은 대략 이렇다. 틀린 날짜나 가격이 공개되면 독자는 그걸 믿고 움직인다. 중복 문단이 나가면 검색엔진 입장에서 얇은 글이 된다. 틀린 글을 고치는 일은 처음 쓰는 일보다 오래 걸린다.

발행 직전에 확인할 항목과 실제 순서

자동 발행 전 검수는 공개 버튼이 눌리기 전에 기계가 먼저 거르고, 사람이 그다음에 읽고, 공개 뒤에 다시 보는 단계를 말한다. 항목을 나열하는 것보다 순서를 정하는 쪽이 어려웠다.

1단계: 기계가 먼저 거른다

  • 링크: 본문의 주소를 요청해 응답 코드를 확인한다. 404거나 리다이렉트가 끝없이 도는 링크는 여기서 막는다.
  • 중복: 문단을 정규화한 뒤 해시로 완전 중복을 찾는다.
  • 금칙어: 상투구와 과장어를 세어 목록에 걸리면 표시한다.
  • 메타 정보: 제목 길이, 설명문 유무, 슬러그 형식, 대표 이미지 경로.

기계 검사를 맨 앞에 두는 이유는 싸고 빠르기 때문이다. 링크가 죽은 글을 사람이 다 읽고 나서야 링크를 확인하면 읽은 시간이 그대로 낭비된다.

2단계: 사람이 본다

  • 사실: 날짜, 가격, 기능 사양, 출시 시점
  • 수치: 출처가 붙어 있는지, 출처의 숫자와 본문의 숫자가 같은지
  • 고유명사: 제품명과 기능 이름의 철자, 실존 여부
  • 결론: 본문 근거에서 나온 결론인지

처음 생각은 사람이 전부 먼저 읽는 쪽이었다. 바꾼 이유는 단순했다. 링크와 중복은 기계가 금방 끝내고, 사실 확인은 사람이 가장 오래 붙잡는 일이다. 사람 시간은 가장 비싸니 마지막까지 아껴 둔다.

3단계: 발행 뒤에 확인한다

공개 후에는 주소가 실제로 열리는지, 검색 결과에 제목과 설명이 맞게 나오는지, Search Console에서 색인 상태가 정상인지 본다. 발행 전 검사로 잡히지 않는 항목이 여기 남는다.

사실 오류와 수치 오류는 어느 단계에서 잡아야 할까

수치는 자동 검사로 완벽하게 잡히지 않는다. 날짜 형식이나 음수 같은 건 기계가 본다. 다만 “작년보다 올랐다”가 사실인지, 가격이 지금 기준인지는 출처를 열어 봐야 안다. 이 한계를 먼저 인정해야 검수가 설계된다.

초안 생성 직후: 출처 표시를 강제한다

초안을 만들 때부터 수치와 고유명사마다 출처 위치를 같이 적게 한다. 출처가 없으면 그 문장에 확인 필요 표시를 붙인다. 사람은 표시가 붙은 문장만 집중해서 보면 된다.

본문에 날짜, 가격, 기능 사양, 수치, 고유명사가 나오면 각 항목 뒤에 [출처: URL / 확인일]을 붙여라. 출처를 확인할 수 없으면 [확인 필요]로 표시하고 문장을 단정하지 마라.

발행 직전: 출처가 확인된 항목만 통과시킨다

발행 직전 단계는 대조다. [확인 필요]가 남은 원고는 올리지 않는다. 대조가 끝난 문장에서 표시를 지우고, 본문에 표시가 그대로 남지 않게 정리한다.

예시: 틀리기 쉬운 문장들

수치가 틀린 실제 글을 여기에 기록하려 했는데, 솔직히 그 사례를 제대로 남겨 둔 기록이 아직 없다. 대신 어디서 샐지 추려 봤다. 출시 연도를 예전 기억으로 쓴 문장, 가격을 옛날 페이지에서 가져온 문장, 비슷한 이름의 다른 제품 기능과 섞인 문장이다. 이런 문장은 자동 검사를 그대로 통과하고, 사람이 출처를 열기 전에는 아무도 모른다.

이 숫자의 출처 URL과 확인 날짜가 본문 안에 있는가? 없으면 문장을 지운다.
이 기능이나 가격을 지금 공식 페이지에서 직접 확인했는가? 기억이나 예전 자료에서 온 값이면 다시 연다.
결론 문장이 본문 근거 중 하나와 직접 이어지는가? 떠오른 말로 끝났다면 근거를 찾거나 결론을 뺀다.

사실과 수치 오류 점검

중복 문단과 반복 표현을 빠르게 찾는 방법

AI가 쓴 글은 같은 문단을 두 번 쓰는 일이 드물지 않다. 표현만 바꾼 채 같은 말을 되풀이한다. 완전 중복과 거의 같은 문단은 찾는 방법이 달라서 나눠서 본다.

완전 중복: 정규화 후 해시

문장부호와 공백을 정리하고 소문자로 바꾼 뒤 해시를 만든다. 같은 해시가 이미 있으면 완전 중복이다.

import hashlib, re

def normalize(p):
    p = re.sub(r"[^\w가-힣]+", " ", p.lower())
    return re.sub(r"\s+", " ", p).strip()

def fingerprint(p):
    return hashlib.sha256(normalize(p).encode("utf-8")).hexdigest()

seen = set()
for para in paragraphs:
    fp = fingerprint(para)
    if fp in seen:
        print("완전 중복:", para[:30])
    seen.add(fp)

거의 같은 문단: 글자 n-gram 유사도

글자를 세 개씩 잘라 집합을 만들고 겹치는 비율을 본다. 어순만 바꾼 문단은 이 방식으로 잡힌다.

def ngrams(s, n=3):
    s = normalize(s).replace(" ", "")
    return {s[i:i+n] for i in range(len(s) - n + 1)}

def similarity(a, b):
    A, B = ngrams(a), ngrams(b)
    return len(A & B) / max(len(A | B), 1)

임계값이 문제다. 높이면 같은 주제의 다른 문단을 놓치고, 낮추면 정상적인 설명 문단이 전부 걸린다. 설명형 문단끼리는 용어가 겹쳐서 점수가 높게 나오는데, 그 구간이 오탐이 제일 많았다. 아직 임계값을 확정하지 못했다. 근거 없는 숫자를 적으면 나중에 그 숫자를 믿게 될 것 같아서 비워 둔다.

도구를 쓰면 바로 돌아가지만 한국어 조사와 어미를 내 기준대로 다루기 어렵다. 직접 짜면 정규화 규칙을 글에 맞출 수 있는 대신, 나중에 다시 읽고 고쳐야 한다. 지금은 직접 짠 쪽으로 돌리고 있다.

반복 표현과 상투어

문단이 아니라 글 전체에서 같은 어구가 얼마나 나오는지 센다. 접속사로 문장을 시작하는 버릇, 강조 부사, 번역투로 끝나는 문장이 대표적이다. 목록이 정해져 있으니 세기는 쉽다. 문제는 기준을 넘지 않고도 어색한 글이 나온다는 점이다. 그건 숫자로 잡히지 않는다.

중복 문단 찾아내는 검수

모든 글에 같은 검수를 적용해야 할까, 기준을 나눠야 할까

모든 글에 같은 검수를 걸면 비용이 커진다. 용어 설명 글과 제품 가격 비교 글이 같은 길을 가면, 가격 비교 글이 나머지 글에 묻힌다. 그래서 글 종류마다 리스크를 나눈다.

등급 대표 글 자동 발행 검수 강도
A 용어 설명, 일반 절차 안내 허용 자동 검사 통과 후 공개, 주기적 샘플 검수
B 수치가 들어간 정보형 글 출처가 모두 확인된 뒤 공개 수치 대조 후 공개, 공개 뒤 샘플 검수
C 제품 비교, 가격, 법률·의료·금융 관련 금지 사람 승인 후 공개

솔직히 지금 파이프라인은 이 등급을 쓰지 않는다. 모든 글을 자동으로 바로 공개한다. 등급 기준은 다음 개편에서 넣을 계획이고, 아직 운영에 적용해 본 결과는 없다. 그래서 등급 전후로 달라진 점을 숫자로 말할 자료도 없다.

등급 분류도 틀릴 수 있다. 지금 생각은 키워드와 글에 든 숫자의 개수로 나누는 것인데, 설명형 글에 숫자가 많이 들어가면 B로 잘못 갈 수 있다. 분류 기준 자체를 실제 글에 돌려 보고 고쳐야 한다.

검수를 빼먹고 잘못 나간 글은 어떻게 내리고 수습할까

사고가 나면 손이 먼저 가는 곳이 삭제 버튼이다. 그 전에 순서를 정해 두면 실수가 줄어든다. 아래는 내가 정한 순서인데, 실제로 돌린 기록은 아직 없다.

  1. 발견하면 바로 비공개로 돌린다. 비공개는 초안 상태로 내리는 것이라 다시 살릴 수 있고, 검색 결과와 공개 목록에서는 빠진다.
  2. 원인을 적는다. 1단계 기계 검사에서 빠졌는지, 2단계 사람 검수에서 빠졌는지 칸을 채운다. 이 칸이 비어 있으면 재발 방지가 안 된다.
  3. 삭제할지 정정할지 정한다. 사실만 틀렸으면 같은 주소에서 고친 글을 다시 공개한다. 글 자체가 틀린 방향이면 새 글을 쓰고, 옛 주소는 새 글로 301 리디렉션을 건다.
  4. Search Console에서 주소를 색인 재요청하거나, 급하면 임시 삭제 요청을 넣는다. 임시 삭제는 영구 삭제가 아니라서 주소 상태를 본 뒤에 정리한다.
  5. 재발 방지 로그에 한 줄을 추가하고, 빠진 항목을 검사 목록에 넣는다.

삭제와 비공개는 다르다. 삭제하면 그 주소로 걸린 내부 링크와 검색 유입이 같이 끊긴다. 그래서 1번은 비공개로 하고, 삭제는 정정과 리디렉션을 확인한 뒤에만 한다. 정정 글을 낼 때는 어디가 고쳐졌는지 본문에 밝힌다. 조용히 고치면 예전 내용을 기억한 독자가 혼란스러워한다.

[사고 기록]
발견 시각:
발견 경로:
대상 주소:
틀린 내용:
빠진 단계: (1단계 기계 / 2단계 사람 / 3단계 발행 후)
조치: (비공개 / 정정 공개 / 삭제 / 리디렉션)
색인 조치: (재요청 / 임시 삭제 / 없음)
재발 방지 항목:

이 로그를 실제 사고로 채운 적은 아직 없다. 절차는 있지만 실전에서 검증되지 않았다는 뜻이다. 다음 사고가 나면 이 양식으로 기록하고, 맞지 않는 칸은 고칠 생각이다.

잘못 나간 글 회수하기

정리: 발행 전 체크리스트와 오늘 시작할 일

발행 전에 복사해서 쓸 수 있도록 묶는다.

  • 본문 링크 응답 확인
  • 완전 중복과 유사 문단 확인
  • 금칙어와 상투구 세기
  • 제목, 설명, 슬러그, 대표 이미지 확인
  • 수치와 날짜마다 출처 URL과 확인 날짜 붙이기
  • 고유명사 철자와 실존 여부 확인
  • 결론이 본문 근거와 이어지는지 확인
  • 등급 확인, C등급은 사람 승인 뒤 공개

처음에는 이 세 가지만 해도 된다.

  1. 이미 공개된 글 중 수치가 든 글 하나를 골라 출처를 붙여 본다. 출처가 안 붙는 문장이 얼마나 나오는지 세어 보면 감이 온다.
  2. 사고 기록 양식을 메모장에 만들어 둔다. 사고가 난 뒤에 양식을 만들면 빈칸을 채울 여유가 없다.
  3. Search Console에서 최근 공개한 글의 색인 상태를 본다.

이 방식이 맞지 않는 경우도 있다. 하루에 쏟아지는 글이 많아서 사람이 전부 볼 수 없는 경우, 제품 가격처럼 자주 바뀌는 주제를 많이 다루는 경우, 1인 운영인데 C등급이 많아서 승인이 병목이 되는 경우다. 그때는 주제 자체를 줄이는 쪽이 검수 강화보다 낫다.

이 블로그는 2026년 7월 7일부터 10월 4일까지 90일 동안 구글 검색에서 49번 클릭, 1,611번 노출을 받았다. 클릭은 아직 적다. 이 검수 방식 때문에 올랐다고 말할 근거도 없다. 발행한 글이 실제로 어떻게 보이는지는 Search Console에서 날짜 범위를 직접 열어 보는 게 가장 정확하다. 운영 중인 서비스와 작업 기록은 https://wallenstein.dev 에 정리해 두었다.

근거로 삼은 문서


글쓴이 정보

1인 빌더 아일리고가 씁니다. 잘된 것도 망한 것도 적습니다. 영상은 제가 만든 ClipSquare 에서 나옵니다.

자주 나오는 질문

AI 블로그 글을 자동 발행하기 전에 가장 먼저 확인해야 할 것은 무엇인가요?

기계 검사부터 돌리는 게 순서상 맞다. 본문 링크의 응답 코드, 완전 중복 문단, 금칙어, 제목 길이와 설명문, 슬러그 형식을 먼저 거른다. 싸고 빠른 검사를 앞에 두면 링크가 죽은 글을 사람이 끝까지 읽는 낭비를 막을 수 있다.

날짜나 가격 같은 사실 오류는 어떻게 잡나요?

초안을 만들 때부터 날짜, 가격, 수치, 고유명사마다 출처 URL과 확인일을 붙이도록 한다. 출처를 못 찾은 문장에는 [확인 필요]를 달고, 발행 직전에 공식 페이지와 대조해서 통과한 것만 올린다. 자동 검사로는 ‘작년보다 올랐다’가 맞는지 알 수 없어서 출처를 여는 사람의 확인이 꼭 필요하다.

글을 공개한 뒤에도 따로 확인할 게 있나요?

있다. 주소가 실제로 열리는지, 검색 결과에 제목과 설명이 맞게 나오는지, Search Console에서 색인 상태가 정상인지 본다. 발행 전 검사로 잡히지 않는 문제는 대부분 이 단계에서 드러난다.