끝난 파일럿 앞에서 가장 비싼 침묵
파일럿이 끝났다. 봇은 돌았고 사람들은 “편해졌다”고 말한다. 리더가 묻는다. “그래서 전사로 펼까요?” 누군가 답한다. “효과는 분명히 있었어요.” 맞는 말이지만, 그 말로는 어떤 결정도 못 내린다.
이 침묵이 비싼 이유는 뒤따르는 결정이 둘 중 하나로 굳기 때문이다. 하나는 체감만 믿고 확대다. 기준선도 단위비용도 없이 펼친 자동화는 다음 영역에서 품질이 무너지고, 그제야 “원래 우리 업무는 다르다”가 나온다. 다른 하나는 결정을 미루는 무한 연장이다. 멈추지도 키우지도 않은 채 월 고정비와 기술부채가 쌓인다. 직접 운영에 넣어보며 가장 자주 본 두 갈래이고, 둘 다 결정을 안 내린 결과다.
파일럿은 결정을 내리려 여는 것이다. 끝난 뒤 결정의 언어가 없으면 “해봤다”는 기록만 남는다. 8장에서 작게 열고 멈춤 기준을 박았다면, 이 장은 끝난 파일럿을 네 갈래 중 하나로 판정하는 게이트다.
이 장이 가장 세게 못 박는 한 줄. 폐기는 실패가 아니다. 멈출 것을 멈춰야 다음 파일럿이 열릴 때 스폰서가 남아 있다. 그리고 폐기·보류 판정 사례야말로 리더의 권위를 세우는 자산이다 — 신뢰를 얻는 것은 “성과를 냈다”는 성공담이 아니라 “성과가 났는지 안 났는지를 정직하게 판정했다”는 자세다. 같은 잣대(증거 등급·4입력)를 자기 성과에도 들이대 폐기를 폐기라 부르는 리더만이, 확대를 확대라 부를 때 믿어진다.
핵심 관점: 판정은 인상이 아니라 4개 입력으로 한다
“확대할까 폐기할까”를 회의 분위기로 정하면 목소리 큰 사람·최근의 성공담·안전한 선택이 결정을 끌고 간다. 판정은 네 입력으로만 한다. 넷이 없으면 기준선(8장)부터 다시 닫는다.
| 입력 | 묻는 것 | 출처 |
|---|---|---|
| 증거 등급(L0~L5) | 이 효과를 무슨 강도로 말할 수 있는가(등급 정의·판정은 10장 참조) | 10장 |
| 품질(가드레일) | 빨라지면서 오류·반려·재작업·사고가 늘지 않았는가 | 8장 No-Go, 9장 |
| 단위비용 | 검증 완료 1건당 비용이 기준선(8장)보다 내려갔는가(사람 검수·AI비용 포함) | 9·11장 |
| 재사용성 | 다른 팀이 그대로 쓸 수 있는가, 한 사람 손에만 붙어 있는가 | 15장 |
네 입력은 서로를 막아준다. 증거 등급만 높고 단위비용이 역전됐으면 보류, 단위비용은 좋은데 품질이 무너졌으면 폐기다. 한 입력의 강점이 다른 입력의 결함을 덮지 못하게 막는다. 한 칸이라도 비면, 채우기 전엔 판정 불가다.
이 게이트는 “확대해도 되는가”만큼 “멈춰도 되는가”를 묻는다. 대부분의 조직은 확대 기준만 따지고 폐기 기준을 비워둬 안 쓰는 파일럿이 쌓인다. 명문화하지 않으면 폐기는 영원히 일어나지 않는다.
4판정 게이트
모든 파일럿은 종료 시점에 4개 입력을 순서대로 통과시켜 네 갈래 중 하나로 판정한다.
판정표 — 네 갈래의 기준
| 판정 | 증거 등급 | 품질 | 단위비용 | 재사용성 | 한 줄 의미 |
|---|---|---|---|---|---|
| 확대 | L3 이상(비교군 검증) | 악화 없음 | 기준선보다 낮음 | 재사용 가능 | 다른 팀·영역으로 펼친다 |
| 유지 | L2(전후 비교) | 안정 | 통제됨(역전 아님) | 아직 한 곳 | 현 범위 유지, 기준선·증거 보강 |
| 보류 | L1~L2이나 개선 작음 | 불명확 | 과다·불명확 | 미검증 | 멈추지도 키우지도 말고 재설계 |
| 폐기 | 등급 무관 | 악화 | 역전 | 불가 | 멈추고 자산 정리 |
보고 규칙(10장): 경영진에 “확대”를 올리려면 L3 이상, 즉 비교군(유사팀·holdout·A/B·순차) 기준 개선이어야 한다. “전후 비교가 좋았다”(L2)는 유지의 근거다. 이 한 줄이 “한 팀에서 좋았으니 전사로”라는 점프를 막는다.
판정 트리 — 위에서부터 순서대로 묻는다
[종료된 파일럿]
│
▼
G0. 4개 입력(증거 등급·품질·단위비용·재사용성)을 다 댈 수 있는가?
├─ 아니오 ─────────────▶ 판정 불가. 기준선·로그부터 닫고 재측정(보류로 임시 분류)
└─ 예
│
▼
G1. 품질 가드레일을 넘었거나(오류·반려·사고 증가)
비용이 역전됐거나(단위비용 ↑)
승인·보안을 우회해야만 돌아가는가?
├─ 예 ─────────────────▶ ❌ 폐기
└─ 아니오
│
▼
G2. 증거가 비교군 검증(L3 이상)이고,
단위비용이 기준선보다 낮고,
다른 팀이 재사용 가능한가?
├─ 예 ─────────────────▶ ✅ 확대
└─ 아니오
│
▼
G3. 전후 비교(L2)에서 개선이 관측되고
품질이 안정적인가?
├─ 예 ─────────────────▶ ◐ 유지(기준선·증거 보강, 재사용성 확보 후 재심)
└─ 아니오 ──────────────▶ ◼ 보류(개선 작음/기준선 불명확 → 업무 재설계 선행)폐기 판정(G1)을 맨 위에 둔 것은 의도된 설계다. 품질이 무너졌거나 비용이 역전됐거나 통제를 우회하면, 등급이 아무리 높아도 즉시 폐기 후보다. 좋은 지표 하나가 치명적 결함을 가리지 못하게 한다.
두 가지 헷갈리는 경계
보류와 폐기는 가장 자주 섞인다. 원인이 재설계 미완·기준선 불명확이면 보류, 품질 악화·비용 역전·통제 우회면 폐기다. 폐기를 보류로 오판하면 죽일 것을 연명시킨다. 파일럿 피로의 주범이다.
유지와 확대도 섞인다. 유지는 “이 팀에서 검증됐다”, 확대는 “다른 팀에서도 비교군으로 확인됐다”이다. L2를 L3로 올리는 것이 유지 단계의 숙제다.
단계별 적용: 판정 워크시트
종료된 파일럿 하나를 놓고 10개 질문에 순서대로 답한다. 이 워크시트가 4판정과 다음 산출물을 정의한다.
| # | 질문 | 답하지 못하면 |
|---|---|---|
| 1 | 기준선(처리량·리드타임·품질·비용)이 닫혀 있는가(정의는 8장)? | 판정 불가. 기준선부터 닫고 재측정(8장) |
| 2 | 효과를 무슨 증거 등급으로 말할 수 있는가(L0~L5 정의·판정은 10장)? | L1 이하면 확대 금지 |
| 3 | 비교군(유사팀·holdout·A/B·순차)이 있는가? | 없으면 유지가 상한 |
| 4 | 품질 가드레일(오류·반려·재작업·사고)을 넘지 않았는가? | 넘었으면 즉시 폐기 후보 |
| 5 | 검증 완료 1건당 단위비용이 기준선보다 낮은가? | 역전이면 폐기, 불명확이면 보류 |
| 6 | 사람 검수·재작업 비용까지 포함해 계산했는가? | 안 했으면 단위비용 미확정(11장) |
| 7 | 승인·보안·권한을 우회해야만 돌아가는가? | 우회면 등급 무관 폐기 |
| 8 | 이 성공이 한 사람 손에만 붙어 있는가, 자산화됐는가? | 한 사람뿐이면 재사용성 미확보(15장) |
| 9 | 다른 팀이 그대로 쓰려면 무엇을 더 만들어야 하는가? | Skill·MCP·문서 미정이면 확대 보류 |
| 10 | 폐기한다면 무엇을(구독·서버·연결·권한) 정리해야 하는가? | 정리 목록 없으면 좀비로 남음 |
10번이 이 장의 숨은 핵심이다. 폐기 결정과 실행은 다른 일이다. 정리 목록이 없으면 끈 줄 알았던 파일럿이 구독·서버·연결·권한으로 살아남아 비용·보안 리스크를 만든다. 폐기는 “쓰지 말자”가 아니라 “회수했다”로 끝나야 한다.
판정별 다음 산출물
| 판정 | 통과 기준 | 다음 산출물 |
|---|---|---|
| 확대 | L3 이상 + 품질 안정 + 단위비용↓ + 재사용 자산 존재 | 확대 계획(대상 팀·차수·재사용 자산, 14·15장) |
| 유지 | L2 + 품질 안정 + 단위비용 통제 | 증거 보강 계획(L2 → L3 비교군 설계) |
| 보류 | 개선 작음 또는 기준선 불명확 | 재설계 후보로 환원(5장 6분류 재진단) |
| 폐기 | 품질 악화·비용 역전·통제 우회·재사용 불가 | 폐기 정리 체크리스트(구독·서버·연결·권한·문서) |
판정 체크리스트 — 회의에서 한 장으로
파일럿을 테이블에 올릴 때 제안자와 승인자가 같이 보는 한 장짜리 점검표다.
- 기준선(8장)이 닫혀 있고, 효과를 L0~L5 등급(10장)으로 명시했다.
- 품질 가드레일(오류·반려·재작업·사고)을 넘지 않았음을 데이터로 보였다.
- 단위비용을 검수·재작업·AI비용 포함으로 계산하고 기준선과 비교했다(11장).
- 비교군이 있으면 L3, 없으면 L2가 상한임을 보고 문구에 반영했다.
- 재사용성을 댔다 — 다른 팀이 쓰려면 무엇이 더 필요한지 목록이 있다(15장).
- 승인·보안·권한 우회 여부를 확인했다(우회면 등급 무관 폐기).
- 폐기 시 정리할 항목(구독·서버·연결·권한·문서) 목록이 준비돼 있다.
- 네 판정 중 정확히 하나를 골랐다(무판정·연장 금지).
한 항목이라도 비면 채우기 전에는 판정 테이블에 올리지 않는다. ‘무판정 연장’을 선택지로 두지 않는 것이 파일럿 피로를 막는 규율이다.
흔한 실패모드
판정 게이트가 무력화되는 패턴이다. 각 모드 끝의 레드플래그는 “나오면 의심하라”는 회의용 판별구다.
1 — 체감 확대. 기준선·비교군 없이 “다들 좋다고 한다”로 확대한다. 레드플래그: “반응이 좋아서 다른 팀에도 깔겠습니다”인데 등급 L1 이하. 차단: G2 + 워크시트 2·3.
2 — 단위비용 누락 확대. 처리 속도만 보고 확대하며 검수·재작업 비용을 빼놓아, 총비용 역전을 늦게 발견한다. 레드플래그: “처리 시간이 절반으로”인데 검수 공수·AI비용이 단위비용에 없다. 차단: 워크시트 5·6 + 11장.
3 — 무판정 연장. 확대도 폐기도 아닌 채 계속 돌린다. 멈춤 결정을 안 내린 파일럿이 가장 비싸다. 레드플래그: 다음 판정이 “조금 더 지켜보자”다. 차단: 종료 시 4판정 강제 + 체크리스트.
4 — 폐기를 실패로 낙인. 폐기를 책임 추궁으로 만들면 아무도 제안하지 않고 좀비가 쌓인다. 레드플래그: 폐기 자리에서 “누가 잘못한 거냐”가 먼저 나온다. 차단: “폐기는 성과” 프레이밍 + 신호 박스.
5 — 폐기 후 미정리. 폐기하기로 했으나 구독·서버·연결·권한을 회수하지 않아, 끈 줄 알았던 비용·보안 리스크가 계속 발생한다. 레드플래그: “안 쓰기로 했어요”인데 청구서에 그 항목이 그대로다. 차단: 워크시트 10 + 폐기 정리 체크리스트.
6 — 보류·폐기 오판. 재설계하면 살 것을 죽이거나 방향이 틀린 것을 연명시킨다. 레드플래그: 원인 진단 없이 “일단 접자” 또는 “일단 더 해보자”로 간다. 차단: “재설계 미완이면 보류, 품질·비용·통제 결함이면 폐기” 규칙.
7 — 재사용성 미검증 확대. 한 사람 손에만 붙은 성공을 “확대 가능”으로 분류한다. 넘기는 순간 멈추고 원작자가 병목이 된다. 레드플래그: “○○님이 만든 흐름, 전사에 펴죠”인데 Skill·문서가 없다. 차단: 워크시트 8·9 + 15장.
Before/After: 같은 결과, 두 갈래의 판정
예를 들어 한 B2B SaaS 운영팀이 반복 문의 처리에 자동 초안 생성 파일럿을 한 사이클(약 90일) 돌리고 “처리 시간이 줄었고 다들 만족한다”고 보고한다. 같은 결과에서 두 갈래의 판정이 갈린다.
갈래 A — 체감 기반 판정 (Before)
리더가 “효과가 있었으니 다른 두 팀에도 확대하자”고 제안한다. 근거는 만족 인터뷰와 “체감상” 줄었다는 보고(L1)뿐이다. 단위비용은 처리 시간만 봤고 검수·수정 시간은 빠졌다. 반려율·재문의도 안 봤고, 흐름은 한 명이 프롬프트를 직접 손보며 돌린다. 결과: 확대하자 문의 유형이 달라 품질이 떨어지고 검수 공수가 늘었다. 한 사이클 뒤 단위비용이 기준선을 넘었다. 경영 보고: “확대했는데 효과가 모호하다.” → 무엇이 줄었는지도, 왜 안 됐는지도 말할 수 없다.
갈래 B — 4입력 게이트 판정 (After)
리더가 종료된 파일럿을 게이트에 넣는다.
- G0: 기준선은 닫혔으나 비교군이 없다. 단위비용은 검수 포함 시 기준선과 비슷(역전 아님).
- G1(폐기?): 품질·비용 역전·통제 우회 없음. → 아님.
- G2(확대?): 증거가 L2이고 재사용성도 한 사람 손에 있다. → 아님.
- G3(유지?): 전후 비교 개선 관측, 품질 안정. → 유지.
다음 산출물: (1) L2 → L3 비교군 설계 — 유사팀을 holdout으로 비교, (2) 검수·재작업 포함 단위비용 재계산(11장), (3) 프롬프트 흐름을 Skill로 자산화(15장), (4) 셋이 닫히면 확대 후보로 재심.
한 사이클 뒤: 비교군 검증으로 개선이 L3로 확인되고 단위비용 하락도 확정됐다. Skill 자산도 생겼다. 이제 확대가 근거 있는 결정이 된다. 경영 보고: “비교군 기준 개선, 단위비용 하락, 재사용 자산 확보 — 다음 차수.” → 무엇을, 왜 확대하는지 말할 수 있다.
두 갈래의 차이 한 줄 요약
| 구분 | 갈래 A (체감) | 갈래 B (게이트) |
|---|---|---|
| 판정 근거 | 만족 인터뷰(L1) | 4입력 통과(L2 → L3) |
| 단위비용 | 검수 누락 | 검수·재작업 포함 |
| 첫 판정 | 곧장 확대 | 유지(보강 후 재심) |
| 재사용성 | 한 사람 손 | Skill 자산화 |
| 결과 | 확대 후 비용 역전 | 근거 있는 확대 |
| 경영 보고 | “효과가 모호하다” | “비교군 기준 개선·단위비용↓” |
같은 파일럿, 같은 결과다. 갈린 지점은 단 하나 — 게이트에 넣었는가, 체감으로 건너뛰었는가다.
리더가 승인·요구할 신호
승인자에게는 “무엇을 보면 확대시키고 무엇을 보면 멈출지”, 실무자에게는 “무엇을 미리 증명해야 통과되는지”의 기준이다. 거버넌스 세부는 16~18장에 있다. 여기서는 회의용 신호만 남긴다.
요구할 것 (없으면 판정 테이블에 올리지 않는다)
- 확대 제안에는 재사용성·단위비용 근거를 첨부하라 — “다른 팀이 무엇으로 쓰는가(Skill·문서)“와 “검수·재작업 포함 단위비용이 기준선보다 낮은가”. 없으면 불승인.
- 확대 근거의 증거 등급이 **L3 이상(비교군 검증)**인가. L2면 유지로 되돌린다.
- 파일럿마다 네 판정 중 정확히 하나가 붙었는가. “조금 더 지켜보자”는 판정이 아니다.
반려할 것
- 체감(L1 이하)만으로 확대하려는 제안.
- 단위비용에서 검수·재작업·AI비용을 뺀 확대 제안(11장).
- 한 사람 손에만 붙은 성공을 “확대 가능”으로 분류한 제안.
- 무판정 연장 — 끝난 파일럿을 판정 없이 계속 돌리는 것.
승인할 것
- 멈출 것을 멈추는 폐기 결정. 비용 절감이자 신뢰 회복이며 다음 파일럿의 스폰서를 지킨다. 책임 추궁이 아니라 성과로 처리한다.
- 확대 대신 **유지(보강 후 재심)**를 고르는 보수적 판정 — L2를 L3로 올린 뒤 확대하는 것은 후퇴가 아니라 정도다.
- 폐기 정리까지 끝낸 결정(구독·서버·연결·권한 회수 목록 포함). “회수했다”로 끝나야 승인.
이 장의 요약
- 끝난 파일럿은 네 판정 중 정확히 하나로 닫는다. ‘무판정 연장’이 가장 비싼 선택이다.
- 판정은 인상이 아니라 4개 입력(증거 등급·품질·단위비용·재사용성)으로. 한 칸이라도 비면 판정 불가.
- 게이트는 폐기 판정을 맨 위에 둔다 — 품질 악화·비용 역전·통제 우회는 등급 무관 즉시 폐기.
- 확대는 L3 + 단위비용↓ + 재사용 가능 셋이 다 충족될 때만. L2면 유지다.
- 보류·폐기 경계: 재설계 미완·기준선 불명확이면 보류, 품질·비용·통제 결함이면 폐기.
- 단위비용은 검수·재작업·AI비용 포함으로 계산한다(11장). 처리 시간만 보면 비용이 역전된다.
- 폐기는 결정이 아니라 정리로 끝난다. 회수 목록이 없으면 좀비로 남는다.
- 폐기는 실패가 아니다. 멈출 것을 멈춰야 파일럿 피로를 막고 다음 스폰서가 남는다. 폐기·보류 판정 사례도 리더 권위의 일부다 — 성공담보다 “성과 여부를 정직하게 판정했다”가 더 신뢰된다.
4판정 게이트·4입력·판정 트리·워크시트·실패모드는 도구·모델이 바뀌어도 유지되는 골격이다. 증거 등급 L0~L5(10장)와 단위비용 산식(11장)을 단일 원장(SSOT)으로 참조하며 재정의하지 않는다.