끝나고 나서야 시작되는 싸움
파일럿이 끝났다. 봇은 돌았고, 사람들은 “편해졌다”고 말한다. 리더가 묻는다. “그래서 효과가 얼마였나요?” 이 한 문장 앞에서 잘 굴러간 파일럿이 무너진다.
담당자는 손에 잡히는 숫자를 찾는다 — 처리 건수, 초안 수, 사용 로그. 그러나 “그게 전보다 나아진 건가요?”라고 물으면 댈 기준이 없다. 적용 전 며칠이 걸렸는지, 몇 번 다시 확인했는지, 반려가 몇 건이었는지 — 아무도 적어두지 않았다. 직접 굴려본 입장에서 가장 식은땀이 나는 순간이 여기다. 분명 일은 수월해졌는데, 그걸 증명하려고 로그를 뒤지면 적용 ‘전’의 숫자가 통째로 비어 있다. 뒤늦게 옛 데이터를 복원해 기준선을 만들어보려 해도, 그 시절 로그는 사람마다 다른 칸에 적어둔 메모뿐이라 맞춰지지 않는다. 답은 “체감상 빨라졌다”가 되고, 리더는 확대도 중단도 결정하지 못한다.
여러 파일럿을 운영에 넣어보며 가장 많이 본 실패가 이 모양이다. 실패는 끝난 뒤가 아니라 열기 전에 이미 결정된다. 기준선을 잡지 않고 시작해 비교할 대상이 없었다. 증명이 ‘주장’으로 끝난 이유는 측정 도구가 부족해서가 아니라, 비교의 출발점을 처음에 비워뒀기 때문이다.
현장 패턴뱅크에도 같은 신호가 반복된다 — “As-Is 로그 없이 무엇부터 옮길지 정한다”, “측정 정의도 기준선도 없이 ROI를 가져오라고 한다.” 뿌리는 하나다: 측정 프레임을 미룬 채 먼저 만들고, 증명을 나중에 떠넘긴다.
그래서 이 장은 파일럿을 ‘여는 법’을 다루지만, 대부분은 열기 전에 못 박을 네 가지다 — 기준선, 업무 1건의 정의, 완료 기준, No-Go 가드레일. 이 넷을 잡으면 이후의 모든 증명이 자동으로 ‘비교’가 된다.
5장이 “무엇을 재설계할지”, 6장이 “만들지 말지”를 물었다면, 이 장은 **“만들기로 한 그 하나를 어떻게 작게·증명 가능하게·멈출 수 있게 여는가”**를 묻는다. 측정 도구 자체(9·10장)가 작동할 출발 조건을 닫는 장이다.
핵심 관점: 파일럿은 ‘시도’가 아니라 ‘대조 실험’이다
흔한 오해부터 깬다. 많은 조직에서 파일럿은 “일단 해보는 것”이다 — 작게 시작해 잘 되면 키우고 안 되면 접는다. 틀린 말은 아니지만 무엇을 보고 “잘 됐다·안 됐다”를 판정할지가 시작 시점에 없다.
파일럿의 목적은 ‘동작을 보여주는 것’이 아니다 — 동작은 데모로도 된다. 목적은 “이 변경이 기준선 대비 무엇을, 얼마나 바꿨는가”를 비교로 말하게 만드는 것이다. 곧 대조 실험이고, 세 가지가 선행한다.
비교 대상(기준선) + 측정 단위(업무 1건) + 성공·중단의 선(완료 정의·No-Go)
이 셋이 없으면 ‘새 도구를 써본 기간’일 뿐이고, 끝나면 사용 로그(L1)만 남는다. L1으로는 경영진 보고도 예산 확대도 못 한다(경영진 보고 L2 이상, 예산 확대 L3 이상 — 10장). 셋을 갖추면 끝났을 때 최소 L2(전후 비교)를, 비교군까지 두면 L3를 쥔다.
5장이 “성공 기준에 답하지 못하면 파일럿을 열지 마라”(워크시트 10번)고 했다면, 이 장은 그 규칙을 실행 가능한 4종 산출물로 번역한다.
파일럿 개시 게이트: 열기 전에 닫아야 할 네 가지
파일럿 승인서에 다음 네 가지가 첨부되지 않으면 열지 않는다. 이 장의 핵심 도구다.
| # | 산출물 | 한 줄 정의 | 없으면 생기는 일 |
|---|---|---|---|
| 1 | 기준선 | AI 적용 전 처리량·리드타임·품질·비용·사람개입의 실측값 | 비교 대상이 없어 “체감”만 남는다(L1 천장) |
| 2 | 업무 1건 정의 | 무엇을 1건으로 세고, 언제 ‘완료’로 보는가 | 측정 대상이 흔들려 숫자가 매번 달라진다 |
| 3 | 완료 정의(DoD) | 파일럿이 성공·종료됐다고 말할 수 있는 조건 | 파일럿이 끝나지 않고 무기한 표류한다 |
| 4 | No-Go 가드레일 | 즉시 멈춰야 하는 품질·비용·안전의 하한선 | 나빠지는 줄 모르고 계속 굴려 신뢰를 잃는다 |
순서에 의미가 있다. 성공 목표보다 No-Go를 먼저 잡는다 — 무엇이 나빠지면 즉시 멈춰야 하는지를 먼저 정의해야 파일럿이 폭주하지 않는다.
산출물 1 — 기준선: 비교의 영점
기준선은 ‘AI 적용 전’의 실측값이다. 인상이 아니라 숫자다. 다음을 최소한으로 닫는다.
| 기준선 항목 | 무엇을 적는가 | 측정 단위 |
|---|---|---|
| 처리량 | 기간 내 완료 건수 | 건/주, 건/월 |
| 리드타임 | 접수 → 완료까지 시간 | p50/p90 |
| 사람 개입 | 처리·검토·승인·재작업에 든 시간 | 시간/건 |
| 품질 | 오류·반려·재작업·재확인·장애 | 율(%) 또는 건수 |
| 비용 | 사람 시간 비용 + 외주·구독·운영비 | (단위 비용)/건 |
기준선 기간은 최소 4주를 권장한다(월 단위 업무면 직전 1분기). 너무 짧으면 이상치에 흔들리고, 너무 길면 파일럿이 미뤄진다.
자주 빠지는 두 가지. 첫째, p50만 보고 p90을 빠뜨린다 — p90은 병목·예외의 긴 꼬리를 본다. 파일럿이 진짜 줄여야 하는 것이 그쪽인 경우가 많으므로 보고에는 둘을 함께 둔다. 둘째, 사람 개입 시간에 검토·재작업 시간을 넣지 않는다 — 초안을 빨리 만들어도 검토·수정이 늘면 단축이 아니라 단계 추가다.
기준선을 측정해보며 배운 것: 기준선이 없는 게 아니라 ‘있는데 흩어져 있는’ 경우가 더 많다. 접수·완료 시각, 반려 로그는 이미 시스템에 찍혀 있고, 한 장부로 모이지 않았을 뿐이다. 첫 작업은 새 측정이 아니라 흩어진 로그를 하나의 업무 단위 ID로 묶는 일이다. 직접 묶어보면 여기서 한 번 막힌다 — 접수는 채널에, 완료는 처리 시스템에, 반려는 또 다른 사람의 메모에 찍혀 있어 셋을 같은 ‘1건’으로 잇는 키가 없다. 결국 기준선을 다시 잡는다는 건 새 지표를 재는 게 아니라, 어디서 끊겼는지부터 찾아 그 키를 만드는 일이었다. 초기엔 같은 업무 단위 ID로 연결된 시트 한 장이면 충분하다.
산출물 2 — 업무 1건의 정의: 무엇을 세는가
“처리량이 늘었다”고 말하려면 먼저 1건이 무엇인지가 정해져 있어야 한다. 이게 흔들리면 모든 숫자가 흔들린다.
| 질문 | 답해야 하는 것 | 예시 |
|---|---|---|
| 업무 1건은 무엇인가 | 세는 단위 | 요청 1건, 등록 1건, 리포트 1장, PR 1개 |
| 완료는 언제인가 | 카운트 시점 | 승인 완료, 배포 완료, 요청자 전달, 조회 가능 |
| 품질 실패는 무엇인가 | 불량의 정의 | 반려, 재작업, 오류, 재확인, 정책 위반 |
| 사람이 꼭 봐야 하는 지점 | HITL 위치 | 금전·대외발송·개인정보·권한 변경·최종 승인 |
핵심은 두 번째 행, ‘완료’의 정의다. 성과는 ‘검증된 산출’뿐이다(서문·1장). 완료는 ‘AI가 초안을 냈을 때’가 아니라 사람 검토·테스트·승인·배포·전달까지 통과한 것만 센다. 초안 수를 처리량으로 세는 순간 사용량(L1)이 성과로 둔갑한다.
산출물 3 — 완료 정의(DoD): 파일럿은 언제 끝나는가
완료 정의 없이 시작해 영원히 ‘운영 중’으로 남는 것이 흔한 실패다. DoD는 **“이 조건이 채워지면 종료하고 확대·유지·보류·폐기를 판정한다”**는 선이다(판정 기준은 12장). 두 가지를 함께 적는다.
- 기간 또는 표본 조건: “4주간 운영” 또는 “검증 완료 N건 도달” 중 먼저 닿는 쪽.
- 판정에 쓸 비교 결과: 기준선 대비 무엇을 보고 확대·폐기를 결정할지.
성공 기준은 분류마다 다르다. 같은 “성공”이라도 보는 지표가 다르다.
| 분류(5장) | 성공 기준(무엇이 줄었나·늘었나) | 주의 |
|---|---|---|
| A. 요청 축소 | 문의 유입 감소율, 자가 해결률 | 처리 시간만 보면 함정 |
| B. 업무 재설계 | 재확인 횟수 감소, 직접 완료 비율 | “빨라졌나”가 아니라 “안 묻게 됐나” |
| C. 시스템 흡수 | 기능 반영 후 운영 요청 감소율 | 봇이 아니라 기능이 줄였는지 |
| D. 승인 보조 | 반려·누락 감소(판단은 사람 유지) | 처리량으로 보지 않는다 |
| E. 지식 정리 | 반복 질문 감소, 문서 최신성 | 답변 속도가 아니라 질문 소멸 |
| F. 자동 처리 | 처리량 증가, 단위 비용, 예외 처리율 | 품질 유지가 전제 |
분류를 정하지 않으면 무엇을 측정할지도 정할 수 없다. 모든 성공 기준이 “처리 시간 단축”으로 똑같다면 분류를 건너뛴 신호다(5장).
산출물 4 — No-Go 가드레일: 멈춤의 선
성공 기준은 “키워도 되는가”를, No-Go는 **“지금 즉시 멈춰야 하는가”**를 묻는다. 성과가 좋아 보여도 하한선을 깨면 중단한다.
| 가드레일 유형 | No-Go 트리거(이것이 보이면 멈춘다) |
|---|---|
| 품질 | 반려율·재작업률·오류율이 기준선보다 악화 |
| 비용 | 사람 검수 + AI 비용 포함 단위 비용이 기준선보다 높음(비용 역전) |
| 안전·책임 | 승인 우회, 개인정보 노출, 대외 발송 오류, 권한 오남용 |
| 복구 | 실패가 보류·원복 상태로 안전하게 떨어지지 않음 |
영역별 No-Go 전형은 16장 위험 매트릭스를 따른다(개발=변경 실패율·리뷰 우회·보안 취약점, 데이터=지표 오해·권한 위반·PII 노출 등).
핵심은 품질을 성과와 함께 본다는 것이다. 속도가 빨라져도 오류·반려·재작업이 늘면 leverage가 아니다(1장). 품질 보정 없이 처리량만 보고하면 비용을 품질로 옮겨놓고 성공을 주장하는 것이다.
위험 등급은 ‘결정 신호’로만: 파일럿 트랙 선택
위험 등급을 매기는 이유는 서류가 아니라 얼마나 빨리 열어도 되는가를 정하기 위해서다. 모든 AI가 똑같이 위험하지 않으며, 가치 가설이 명확하고 위험이 낮은 사용 사례는 더 빨리 움직여야 한다. 위험 등급은 영향도(피해 반경)와 발생확률 두 축으로 판정한다.
트랙 판정의 정본 — 3트랙(패스트트랙·일반·강화) 판정 트리와 트랙별 조건·승인 강도 표 — 은 16장에 있다(자율성 L0~L4·위험 매트릭스 포함). 여기서는 개시 게이트를 닫은 뒤 그 판정을 파일럿 개시에 적용하는 한 줄만 둔다: 개시 게이트 통과 후 영향도×발생확률로 트랙을 정하고, 외부 노출·금전·개인정보·권한 변경이 걸리면 강화 심의, 내부·비식별·원복 쉬움·재현성 높음이면 패스트트랙으로 연다(상세 판정은 16장 참조).
리더가 쥘 결정 신호는 하나다 — 저위험·고재현은 패스트트랙으로 빠르게, 외부·금전·개인정보가 걸린 것만 강화 심의로. 같은 위원회 속도로 묶으면 가장 안전하고 빠르게 증명할 후보가 가장 늦게 열린다.
단계별 적용: 파일럿 개시 워크시트
5장의 6분류 판정을 마친 뒤, 다음 순서로 개시 게이트를 닫는다.
| 단계 | 할 일 | 산출물 | 통과 조건 |
|---|---|---|---|
| 1 | 업무 1건과 완료 시점 정의 | 업무 1건 정의서 | “1건”과 “완료”가 한 문장으로 적혔다 |
| 2 | 기준선 4주(또는 1분기) 확보 | 기준선 표 | 처리량·리드타임(p50/p90)·품질·비용이 실측으로 찼다 |
| 3 | 분류별 성공 기준 + 완료 정의 작성 | DoD | 기간·표본 조건 + 판정 비교 지표가 박혔다 |
| 4 | No-Go 가드레일 4종 설정 | 가드레일 표 | 품질·비용·안전·복구 하한선이 적혔다 |
| 5 | 위험 등급 판정 → 트랙 선택 | 위험 1줄 평가 | 영향도·발생확률로 트랙이 정해졌다 |
| 6 | 구현 경량성 확인 | (6장 게이트) | Skill·MCP·기존 도구 우선, 풀스택 아님 |
| 7 | 업무 단위 ID로 로그 연결 | 측정 연결 | 비용·완료·검증이 같은 ID로 묶인다 |
2단계(기준선)에 막히면 파일럿을 미루더라도 기준선부터 닫는다. 측정 인프라 없이 시작한 전환은 소수의 “편하다/불편하다”에 휘둘린다.
7단계는 새 시스템 구축이 아니다. 최소 필드 — work_unit_id, org, task_type, ai_method, cost_tag, completion_result, quality_result — 만 같은 ID로 연결되면 된다. 이 값이 없으면 AI 사용량과 조직 성과를 끝내 연결하지 못한다(9장 입력).
효과 산정은 ‘범위’로, ‘단일 숫자’로 하지 않는다
파일럿 효과는 단일 숫자가 아니라 보수·기준·상한 범위로 산정한다. 내부 반복 업무는 회계상 금액보다 처리 여력·재확인 완화·리드타임 단축을 우선 지표로 둔다. 시간 절감을 곧바로 비용으로 환산하지 않는다 — 절감 시간이 회의·대기로 사라지면 성과가 아니므로 ‘재배치 확신도’를 곱해 보수적으로 본다(9장). 재무 효과 주장(L4)은 이 보정을 거친 뒤에만 가능하다(10장).
파일럿 개시 체크리스트 (한 장)
승인자와 실무자가 같이 쓰는 게이트다.
- 업무 1건의 정의와 ‘완료’ 시점이 한 문장으로 적혔다(초안 생성이 아니라 검증 완료 기준).
- 기준선이 4주(또는 1분기) 실측으로 확보됐다 — 처리량·리드타임(p50/p90)·품질·비용·사람개입.
- 사람 개입 시간에 검토·재작업 시간이 포함됐다.
- 완료 정의(DoD)가 기간·표본 조건 + 판정 비교 지표로 박혔다.
- 성공 기준이 5장 분류에 맞게 정해졌다(전부 “처리 시간 단축”으로 똑같지 않다).
- No-Go 가드레일 4종(품질·비용·안전·복구)이 하한선으로 적혔다.
- 위험 등급(영향도×발생확률)으로 트랙(패스트트랙·일반·강화)이 정해졌다.
- 구현이 경량(Skill·MCP·기존 도구)으로 시작한다 — 서버·인증·모니터링이 새로 붙지 않는다(6장).
- 비용·완료·검증 로그가 같은 업무 단위 ID로 연결된다.
- 끝났을 때 도달할 증거 등급(최소 L2, 비교군 두면 L3)이 명시됐다.
열 칸 중 하나라도 비면, 그 파일럿은 끝나고 나서 “체감”만 남길 확률이 높다.
흔한 실패모드
파일럿이 ‘증명 없는 시도’로 무너지는 8가지 모드를, 회의에서 알아챌 레드플래그(“이 말이 나오면 의심하라”)와 함께 정리한다. 직접 굴리며 밟아본 지뢰들이다.
1 — 기준선 없이 출발. 레드플래그: “적용 전 숫자요? 안 재봤는데요.” 차단: 산출물 1 + 워크시트 2단계.
2 — 초안 수를 처리량으로 셈. 레드플래그: “AI가 만든 초안 N건”이 성과로 보고. 차단: 산출물 2의 ‘완료’ 정의.
3 — 끝나지 않는 파일럿. 레드플래그: “언제 끝나요?”에 답이 없다. 차단: 산출물 3(기간·표본 조건).
4 — No-Go 없는 폭주. 레드플래그: “무엇이 나빠지면 멈추나요?”에 답 없음. 차단: 산출물 4 + “No-Go 먼저”.
5 — 모든 후보 같은 성공 기준. 레드플래그: 파일럿 N개 성공 기준이 한 줄로 똑같다. 차단: 분류별 성공 기준 표(5장 6분류).
6 — 단일 숫자 보고. 레드플래그: 근거 없는 한 자리 정밀도의 단정값. 차단: 범위 산정 + 외부 요인 메모.
7 — 모든 파일럿을 강화 심의로. 레드플래그: 저위험 파일럿이 몇 주째 심의 대기. 차단: 트랙 선택(패스트트랙 분리).
8 — 파일럿에 풀스택을 붙임. 레드플래그: 파일럿 하나에 배포·모니터링이 새로 붙음. 차단: 6장 안티슬롭 게이트(워크시트 6단계).
Before/After: 같은 후보, 두 가지 개시
예를 들어 한 B2B SaaS 운영팀이 매주 데이터 다운로드·BI 리포트 요청을 처리한다. 현업이 운영 채널로 “리포트 뽑아주세요”, “이거 어디서 봐요”를 보내면 운영팀이 처리·회신한다. 5장 트리에서 일부는 B형(직접 조회 가능), 일부는 E형(문서 부재)으로 갈렸고, 팀이 “셀프서비스 조회 + 안내 자동화” 파일럿을 열기로 했다.
갈래 A — 그냥 열어본 파일럿 (Before)
안내 봇을 붙이고 4주간 써본다. 봇은 잘 답한다. 4주 뒤 리더가 효과를 묻는다.
- 적용 전 주당 요청 건수를 모른다. 뒤늦게 채널을 거슬러 세려 했지만, 같은 요청이 스레드로 갈라지고 잡담과 섞여 “1건”의 경계가 사람마다 다르게 잡혔다. 두 사람이 같은 4주 구간을 따로 세었는데 한쪽은 한 스레드의 추가 질문을 같은 1건으로, 다른 쪽은 별건으로 묶어 결과가 어긋났다 — 어느 쪽이 맞는지 가릴 기준 자체가 처음부터 없었다.
- “완료” 정의가 없어 봇 응답 수와 실제 해결을 구분 못 한다. 봇이 답을 줬는데도 현업이 다시 운영팀을 부른 건이 적지 않았지만, 그 ‘다시 부름’이 봇 실패인지 별개 요청인지 가를 키가 없었다. 봇 응답 로그만 보면 전부 ‘해결’로 잡혀 처리량이 늘어 보였는데, 같은 사람이 며칠 뒤 같은 걸 다시 물은 건은 그 숫자에 음수로 잡히지 않았다.
- 품질 악화 여부를 알 수 없다 — 반려·재확인 기준선이 없다. 봇이 엉뚱한 대시보드를 가리킨 일이 있었다는 건 기억하지만, 몇 건이었는지는 아무도 세지 않았다. “그때 그 건 기억나죠?” 수준의 일화만 남아, 늘었는지 줄었는지조차 말할 수 없었다.
- 보고: “운영이 편해진 것 같습니다.” → L1. 확대 결정 불가. 리더가 “줄어든 게 봇 덕인가요, 그냥 그 주에 요청이 적었던 건가요?”라고 되묻자 답이 막혔다 — 비교할 영점이 없으니 어떤 숫자를 들이밀어도 ‘주장’을 못 넘었다.
갈래 B — 개시 게이트를 닫고 연 파일럿 (After)
열기 전에 네 가지를 닫는다.
- 업무 1건: 데이터 요청 1건 = 접수 → 처리 → 요청자 전달. ‘완료’는 요청자가 직접 조회했거나 회신받은 시점. 봇 응답만으로는 완료 아님. (이 한 줄을 먼저 못 박자 갈래 A에서 두 사람이 어긋났던 그 경계 — 스레드 추가 질문을 같은 1건으로 볼지 — 가 바로 닫혔다.)
- 기준선(4주): 주당 요청 건수, 접수 → 완료 p50/p90, 재확인 횟수, 반복 요청 비율을 실측(대부분 채널 로그에 이미 찍혀 있어 ID로 묶기만 함). 다만 묶는 순간 한 번 막혔다 — 접수는 채널 메시지에, 완료는 처리 시스템 회신에 찍혀 있는데 둘을 잇는 공통 키가 없어, 같은 1건의 접수와 완료가 서로 다른 줄로 흩어졌다. 결국 요청 스레드에 식별자를 달아 둘을 묶고 나서야 기준선이 한 장부로 모였다.
- 완료·성공 기준: B형은 “직접 조회로 재확인 요청 감소”, E형은 “반복 질문 감소”. 처리 시간 단축은 보조 지표로만.
- No-Go: 잘못된 데이터 안내·권한 위반·PII 노출이 1건이라도 나오면 즉시 중단. 단위 비용이 기준선을 넘으면 보류.
위험 등급: 내부·비식별 조회는 Low → 패스트트랙. 단, 권한·개인정보가 걸린 요청은 사람 승인 게이트로 분리.
4주 뒤:
- 재확인 요청이 기준선 대비 줄었다(B형 충족). 갈래 A에서 “줄어든 게 봇 덕인가, 그 주가 한가했던 건가”에 막혔던 질문이, 같은 ID로 묶인 전후 비교 한 장으로 바로 답이 됐다.
- 반복 질문은 문서를 세운 유형에서만 줄었다 — 봇이 아니라 문서가 줄였음을 분리해 확인(E형). 문서를 세우지 않은 유형은 봇을 붙였어도 반복 질문이 그대로여서, ‘봇 효과’로 뭉뚱그렸다면 과대 보고가 될 뻔했다.
- 운영 중 봇이 권한 밖 데이터를 가리키려 한 건이 한 차례 잡혔다. No-Go 트리거(권한 위반)가 그어져 있어 해당 유형을 즉시 사람 승인 게이트 뒤로 돌렸고, 멈춤 판단에 회의가 필요 없었다 — 선이 먼저 그어져 있어 현장에서 바로 발동됐다. 최종 집계상 노출로 이어진 No-Go 위반 0건, 단위 비용 기준선 이하.
- 보고: “재확인 요청을 기준선 대비 OO 범위로 줄였고(L2), 유사팀 비교까지 두면 L3 후보.” → 확대 판정 가능.
한 줄 비교
| 구분 | 갈래 A (그냥 열음) | 갈래 B (게이트 닫고 열음) |
|---|---|---|
| 기준선 | 없음 | 4주 실측 |
| ‘완료’ 정의 | 없음(봇 응답=완료 착각) | 검증 통과 기준 |
| 성공 기준 | “편해졌다” | 분류별(B 재확인↓ / E 질문↓) |
| No-Go | 없음 | 품질·비용·안전·복구 4종 |
| 끝난 뒤 증거 등급 | L1 | L2(비교군 두면 L3) |
| 리더의 결정 | 불가 | 확대·폐기 판정 가능 |
같은 후보, 같은 봇에서 출발했다. 갈린 지점은 단 하나 — 열기 전에 네 가지를 닫았는가다.
리더가 승인·요구할 신호
파일럿 승인서를 사이에 둔 양쪽이 같이 쓰는 게이트다. 승인자에겐 “무엇을 보면 통과·반려할지”, 실무자에겐 “무엇을 미리 닫아야 통과되는지”다. 거버넌스 세부는 16~18장에 있고, 여기서는 회의에서 쓸 신호만 남긴다.
요구할 것 (없으면 파일럿을 승인하지 않는다)
- 파일럿 승인 조건으로 4종 첨부를 요구한다 — ① 기준선(4주 실측), ② 업무 1건·완료 정의, ③ No-Go 가드레일, ④ 위험 등급(영향도×발생확률). 넷 중 하나라도 없으면 반려.
- ‘완료’가 검증 통과 기준으로 적혔는가. 초안 생성·봇 응답을 완료로 세는 제안은 반려.
- 성공 기준이 5장 분류에 맞게 다른가. 모든 후보가 “처리 시간 단축”이면 분류를 건너뛴 신호다.
- 끝났을 때 도달할 **증거 등급(최소 L2)**이 명시됐는가(10장).
반려할 것
- 기준선 없이 “일단 써보고 효과는 나중에” 식 제안.
- No-Go 없이 성공 목표만 있는 제안.
- 파일럿 하나에 서버·인증·대시보드가 새로 붙는 풀스택 제안(6장).
- 저위험·고재현인데 강화 심의로, 또는 외부·금전·개인정보가 걸렸는데 패스트트랙으로 올라온 트랙 오배정.
승인할 것 (패스트트랙)
- 내부·비식별·원복 쉬운 저위험 + 명확한 가치 가설 + 4종 첨부 완비 → 실무 승인으로 빠르게 연다. 모든 파일럿을 같은 위원회 속도로 묶지 않는다.
- 효과를 단일 숫자가 아니라 보수·기준·상한 범위로 보고하는 제안.
- No-Go에 걸려 멈추기로 한 결정 — 멈춤은 실패가 아니라 비용 절감이다(폐기 판정은 12장).
이 장의 요약
- 파일럿의 실패는 끝난 뒤가 아니라 열기 전에 결정된다. 파일럿은 ‘시도’가 아니라 대조 실험이다 — 비교 대상(기준선) + 측정 단위(업무 1건) + 성공·멈춤 선이 선행해야 증명이 ‘주장’이 아닌 ‘비교’가 된다.
- 열기 전에 네 가지를 닫는다: ① 기준선(4주, p50/p90·품질·비용·사람개입), ② 업무 1건과 검증 통과 기준의 ‘완료’, ③ DoD, ④ No-Go 가드레일. 성공 목표보다 No-Go를 먼저.
- ‘완료’는 초안 생성이 아니라 검증을 통과한 산출만 센다(초안 수=L1 둔갑). 성공 기준은 분류마다 다르다 — 전부 “처리 시간 단축”이면 분류를 건너뛴 것이다.
- 위험 등급은 결정 신호로만 쓴다 — 저위험·고재현은 패스트트랙, 외부·금전·개인정보가 걸린 것만 강화 심의로(16장).
- 효과는 **범위(보수·기준·상한)**로 보고하고 시간 절감을 곧바로 비용으로 환산하지 않는다(9장). 게이트를 닫고 연 파일럿은 끝났을 때 최소 L2, 비교군까지 두면 L3를 쥐어, 리더가 확대·폐기를 결정할 수 있다(10·12장).
개시 게이트(4종 산출물)·워크시트·체크리스트·No-Go 가드레일은 도구·모델이 바뀌어도 유지되는 방법론 골격이다. 기준선 권장 기간(4주·1분기)은 조직 상황에 맞게 조정한다. 트랙 판정(3트랙)·위험 매트릭스·자율성 L0–L4의 정본은 16장, 증거 등급(L0–L5)·확산 게이트의 정본은 9·10·12장이며, 이 장은 그 도구가 작동할 출발 조건만 닫는다.