자동화 성과를 “한 건에 몇 분 절약”으로만 계산하면 잘못 발행된 글을 수정하거나 고객에게 사과하는 비용이 빠집니다. 실제 구축기는 성공량과 함께 실패를 얼마나 안전하게 다뤘는지 보여줘야 합니다.
처리량과 완료율을 나눕니다
요청 건수, 원고 완료 건수, 편집 완료 건수와 공개 검증 완료 건수를 각각 기록합니다. 중간 단계 성공을 최종 완료로 합치지 않습니다. 자동 회신이라면 분류, 초안, 승인과 실제 발송 건수도 분리합니다.
자동 처리율과 안전 차단율을 함께 봅니다
자동 처리율이 높아도 잘못된 발행이 많으면 좋은 시스템이 아닙니다. 품질 게이트에서 차단된 건수, 사람에게 넘긴 건수와 차단 사유를 집계합니다. 정상적인 안전 차단은 실패가 아니라 통제 기능의 작동입니다.
사람의 수정 시간을 측정합니다
초안을 처음부터 쓰는 시간과 AI 결과를 검토·수정하는 시간을 비교합니다. 브라우저 자동화 복구, 링크 수정과 이미지 재생성 시간도 포함합니다. 자동화 유지보수에 쓴 시간은 별도 비용으로 기록합니다.
품질 오류를 심각도로 나눕니다
문장 다듬기, 서식 오류, 사실 오류, 개인정보 노출과 중복 발행은 영향이 다릅니다. 단순 오류 개수보다 심각도와 공개 전 차단 여부를 함께 봅니다. 공개 후 발견된 치명적 오류는 별도 사건으로 관리합니다.
실제 비용을 계산합니다
AI 호출, 자동화 SaaS, 브라우저 실행 환경과 저장 공간 비용을 합칩니다. 월 비용을 최종 완료 건수로 나누고 사람이 절약한 시간의 가치와 비교합니다. 사용하지 않는 구독과 실패 재시도 비용도 포함합니다.
개선 전후를 같은 표본으로 비교합니다
계약 검증기나 새 품질 게이트를 추가했다면 비슷한 업무 표본에서 오류율과 수정 시간이 어떻게 바뀌었는지 봅니다. 유리한 성공 사례만 선택하지 않고 차단 사례도 공개해야 결과를 재현할 수 있습니다.
제가 발행 건수만 공개하지 않는 이유
스케줄은 정상 실행됐지만 인증 화면에서 멈춘 날도 있었고, 원고와 이미지가 준비됐지만 품질 계약 때문에 발행하지 않은 날도 있었습니다. 이들을 모두 실패로 묶거나 반대로 생성 완료로 계산하면 실제 운영 상태를 설명할 수 없었습니다.
그래서 저는 요청, 원고, 편집, 공개 검증과 차단을 나눠 기록합니다. 아직 충분한 기간의 비용·시간 표본이 없는 항목은 임의 숫자로 채우지 않을 생각입니다. 좋은 구축기는 화려한 절감률보다 요청부터 최종 결과까지의 증거와 실패 비용을 보여줘야 한다고 생각합니다.