회의실에서 가장 위험한 한 문장
“이거 도입했더니 ROI가 몇 배 나옵니다.”
가장 듣기 좋고 가장 위험한 문장이다. 숫자가 커서가 아니라 그 숫자가 어떤 증거 위에 서 있는지가 빠져 있어서다. 누군가 인터뷰 한 건으로 “전사 확대”로 점프하고, 누군가 기준선도 비교군도 없는 체감으로 “재무 효과 상당액”을 표지에 박는다. 둘 다 같은 병이다. 말할 수 있는 것보다 크게 말한다.
성과를 재는 도구는 9장에서 다뤘다(AI leverage 산식). 9장이 “무엇을 재느냐”였다면 이 장은 **“잰 것을 어디까지 말해도 되느냐”**다. 같은 성과라도 증거의 강도에 따라 쓸 수 있는 문장이 달라진다. 그 강도를 여섯 단계로 끊은 것이 증거 등급 L0~L5이고, 12장 통과 게이트는 이 L 척도를 입력으로 받는다.
여러 과제를 직접 설계·측정해 경영진 보고로 올리고 그 결과를 판정해 본 경험에서 정리한 규칙이다. 업계 전반에서 잘못된 보고는 효과가 없어서가 아니라 말할 수 없는 것을 말해서 무너진다. “재무 효과”로 단정한 숫자가 재무 실사에서 깎이면, 진짜 효과를 가져와도 믿지 않는다. 증거 등급은 측정 도구이기 전에 신뢰 관리 도구다.
이 장에서 가져갈 결정 한 줄: 보고의 강도는 증거의 강도를 넘을 수 없다.
핵심 관점: 증거의 강도와 보고의 강도를 일치시킨다
증거 등급은 “낮은 등급은 가치 없다”는 등수표가 아니다. 각 등급에는 그 등급에서만 할 수 있는 정직한 문장이 있다. L0 체감 사례도 “가능성이 보인다”는 신호로 쓸모가 있다. 문제는 L0를 L4처럼 말할 때 생긴다. 이 장이 긋는 선은 하나다.
보고의 강도는 증거의 강도를 넘을 수 없다. 보고는 증거가 허락하는 만큼만 한다.
AI를 도입하는 조직에서 가장 자주 반복되는 실패가 여기 맞닿는다. “쓴 만큼 증명하라”는데 측정 대상의 정의도 기준선도 없다. 실무자는 코드량·문서량 같은 잡히는 숫자를 들고 오고, 잘못된 대리지표인 줄 모두가 안다. 고리를 끊는 방법은 증거를 더 짜내는 것이 아니라 지금 가진 증거가 어느 등급인지 먼저 표기하고 그 등급의 문장으로만 말하는 것이다.
개선율은 전후 비교만 있어도 조심스럽게 말할 수 있다. 그러나 재무 효과(외주비 절감, 비용 회피, 매출 기여)는 시간 절감이 실제 원화로 전환됐다는 확인이 있어야 한다. 시간이 줄었다는 것과 돈이 줄었다는 것은 다른 주장이다. 절감 시간이 회의나 대기로 사라지면 재무 효과가 아니다(9장 재배치 확신도 참조).
증거 등급 L0~L5
모든 성과 주장은 보고 전에 여섯 등급 중 하나로 판정한다. 등급이 다르면 인정 수준, 허용 문구, 가능한 결정이 모두 다르다. 이 L0–L5는 레벨 관례를 빌린 이 책의 증거 강도 척도이며, 외부의 다른 L0–L5와는 다르다.
주의 — 자율성 L0~L4와 번호가 같지만 다른 척도다. 여기 증거 등급은 “성과를 어디까지 말해도 되느냐”(증거의 강도)를 재고, 자율성 레벨은 “에이전트에 어디까지 맡길 수 있느냐”(위임의 강도)를 잰다. 번호가 겹쳐도 가리키는 대상이 다르므로 섞어 읽지 않는다.
등급표: 무엇을 근거로, 무엇을 말할 수 있는가
| 등급 | 이름 | 근거의 형태 | 인정 수준 | 허용 보고 문구 | 그 위에서 가능한 결정 |
|---|---|---|---|---|---|
| L0 | 체감 사례 | 인터뷰·소감(“빨라진 것 같다”) | 정성 참고만 | “가능성이 보인다” | 파일럿 후보 발굴 |
| L1 | 사용·산출 로그 | 도구 사용·초안 생성·워크플로 실행 로그 | 채택·활동 확인 | “사용과 산출이 확인된다” | 채택 모니터링 |
| L2 | 전후 비교 | AI 전후 처리시간·완료 건수·재작업률 | 생산성 후보 인정 | “전후 비교에서 개선이 관측된다” | 경영진 보고(개선율) |
| L3 | 비교군 검증 | 유사팀·holdout·A/B·순차 적용 | 조직 성과 인정 | “비교군 기준으로 개선이 확인된다” | 예산 확대, 전사 공표 |
| L4 | 재무 연결 | 외주비 감소·비용 회피·매출·전환 확인 | ROI 인정 | “재무 효과로 인정 가능하다” | 재무 효과 확정값 보고 |
| L5 | 전략 KPI 연결 | 인당 매출·배포 속도·운영비 구조 반영 | 전사 성과 인정 | “전사 전략 KPI에 반영 가능하다” | 전략 투자 의사결정 |
오른쪽 세 열이 핵심이다. 등급이 곧 발언권이다. L0~L1은 “있다·쓴다”까지, L2부터 “개선됐다”(개선율까지), 재무는 L4 위에서만. 등급을 건너뛰고 문장을 키우는 것이 보고 부정직의 전형이다.
저자 경험 주장에 증거 등급을 적용하면
이 척도는 남의 보고에만 들이대는 잣대가 아니다. 이 책이 펼치는 저자 경험 성과 주장에도 같은 등급을 그대로 적용한다. “증거 없는 ROI를 믿지 말라”고 하면서 저자 자신의 성과만 무등급으로 단정하면 자기모순이다. 같은 경험 한 줄기도 손에 든 증거에 따라 다음처럼 갈린다.
- L0 — 운영자가 체감한 문제: “현장에서 이런 마찰이 반복되더라”는 운영 체감. 문제의 존재를 가리킬 뿐, 성과는 아니다.
- L1 — 사용·산출 기록은 있으나 성과 단정 보류: 도구가 실제로 쓰였고 산출물이 나왔다는 기록은 있다. 그러나 “효과가 났다”고 단정하지 않는다.
- L2 — 기준선 대비 개선 신호: 적용 전 기준선과 같은 단위로 비교해 개선이 관측된다. 여기까지가 “개선됐다”고 말할 수 있는 입구다.
- L3 — 비교 설계상 개선 가능성: 비교군·순차 적용 등 비교 설계 위에서 개선 가능성이 확인된다. 조직 성과로 말할 여지가 생긴다.
- L4 — 재무 연결 가능: 절감이 실제 재무(외주비·채용 회피·매출)로 전환됐다고 확인될 때만 쓴다.
- L5 — 전략 지표 연결: 전사 전략 지표에 반영·추적될 때. 단일 경험을 전략 효과로 비약하지 않는다.
이 책이 주장하는 저자 경험 성과는 위 등급을 넘지 않는다. 본문이 앞세우는 것은 “성과 난 사례”가 아니라 판정 가능한 사례(확대·유지뿐 아니라 폐기·보류·반려 포함)이며, 상대범위·기준선 대비·증거 등급과 “무엇을 주장하지 않는지”를 함께 적는다.
등급을 올리는 일은 증거를 바꾸는 일이다
등급은 “더 열심히 주장한다”고 올라가지 않는다. 증거의 형태를 바꿔야 한다.
| 올리려는 구간 | 새로 확보해야 하는 것 | 흔한 오류 |
|---|---|---|
| L0 → L1 | 사용·산출 로그(누가, 무엇을, 몇 건) | 소감만 모으고 로그를 안 남김 |
| L1 → L2 | AI 적용 전 기준선 + 전후 같은 단위 측정 | 사후에 기준선을 추정으로 채움 |
| L2 → L3 | 비교군(유사팀·holdout·A/B·순차) + 외부 요인 통제 | 비교군 없이 “다른 변수는 없었다”로 퉁침 |
| L3 → L4 | 절감이 실제 원화로 전환됐다는 재무 확인(재배치 확신도, 9장 참조) | 시간 절감을 곧장 금액으로 환산 |
| L4 → L5 | 전략 KPI(인당 매출·배포 속도·운영비 구조)에 반영 | 단일 use case 효과를 전사 KPI로 비약 |
L1 → L2의 벽이 가장 자주 무너진다. 기준선은 AI 적용 전에 잡아야 하는데 대부분 성과가 나온 뒤에 기억으로 채운다. 사후 추정 기준선 위의 전후 비교는 L2가 아니라 L0다. 기준선은 파일럿의 산출이 아니라 입구 조건이다(기준선 정의·확보 절차는 8장 참조).
L3 → L4의 벽은 가장 비싸다. 시간이 줄어도 비용이 같은 비율로 주는 게 아니다. 절감 시간이 외주 축소·채용 회피·다른 검증 산출로 전환됐다는 확인이 있어야 재무다(재배치 확신도 정의·산식은 9장 참조). “시간을 아꼈다”는 L2, “그 시간이 돈이 됐다”는 L4다.
단계별 적용: 성과 한 건을 등급으로 판정하는 워크시트
성과 한 건을 놓고 위에서부터 답한다. 처음 “아니오”가 나오는 직전 등급이 현재 등급이다.
| # | 질문 | 예 → | 아니오면 |
|---|---|---|---|
| 1 | 사용·산출이 로그로 남아 있는가? | L1 도달 | L0(체감)에서 멈춘다 |
| 2 | AI 적용 전 기준선이 같은 단위로 있는가? | 3으로 진행 | L1에서 멈춘다(사후 추정 금지) |
| 3 | 전후를 같은 정의·같은 품질 기준으로 비교했는가? | L2 도달 | L1에서 멈춘다 |
| 4 | 비교군(유사팀·holdout·A/B·순차)이 있는가? | L3 도달 | L2에서 멈춘다 |
| 5 | 절감이 실제 원화(외주·채용 회피·매출)로 전환됐는가?(재배치 확신도, 9장 참조) | L4 도달 | L3에서 멈춘다 |
| 6 | 전사 전략 KPI에 반영되어 추적되는가? | L5 도달 | L4에서 멈춘다 |
등급을 깎는 도구처럼 보이지만, 실제로는 무엇을 확보하면 한 칸 오르는지를 알려준다. 3번에서 멈췄다면 비교군 설계가, 5번에서 멈췄다면 원화 전환 확인이 다음 과제다.
보고 문장 변환표: 같은 사실, 등급별로 다른 문장
등급보다 세게 말하면 부정직, 약하게 말하면 자기 성과를 깎는다. 둘 다 피한다.
| 손에 든 증거 | 부정직한 보고(금지) | 정직한 보고(허용) |
|---|---|---|
| 담당자 일부가 “빨라졌다”고 함 | “처리 속도 대폭 개선” | “현장에서 개선 가능성이 관측된다(L0)” |
| 도구 사용·초안 생성 로그 | “생산성이 올랐다” | “도구가 실제로 쓰이고 산출이 나온다(L1)” |
| 기준선 대비 처리시간 단축 관측 | “연 단위 거액 절감” | “전후 비교에서 처리시간 개선(L2)” |
| 유사팀 대비 처리량 우위 | “전사 표준으로 확정” | “비교군 대비 처리량 개선이 확인된다(L3)” |
| 외주비 실제 감소 확인 | “전략 KPI 달성” | “외주비 절감으로 재무 효과 인정 가능(L4)” |
가운데 열을 한 칸씩 밀어 올린 것이 가장 흔한 보고다. L0를 L2로, L2를 L4로 올리는 순간 보고는 “압박을 견디기 위한 숫자”가 되고, 검증되는 순간 무너진다.
능력 경계 명세: 산출물에 첨부하는 한 장
증거 등급이 “잰 것을 어디까지 말해도 되느냐”라면, 능력 경계 명세는 **“이 산출물이 무엇까지 되고 무엇은 안 되느냐”**를 받는 사람의 언어로 못 박는다. 둘은 짝이다. 경계를 선언하지 않은 채 등급만 붙이면 듣는 사람이 “되는 범위”를 제멋대로 넓혀 잡는다. 자동화가 화면(프론트) 영역만 동작하는데 그 경계가 선언되지 않으면, 받는 사람은 “백엔드도 당연히 된다”고 기대하고 결과가 못 미치면 도구 가치 자체를 의심한다.
명세는 산출물을 공유·보고할 때 함께 첨부한다. 다섯 칸을 비우면 그 칸이 곧 기대 불일치의 청구서가 된다.
| 칸 | 무엇을 적나 | 비면 생기는 오해 |
|---|---|---|
| 되는 것(In-scope) | 이 자동화가 실제로 끝까지 해내는 작업·영역을 동사로 | “다 되는 줄” 알고 못 되는 데까지 요청 |
| 안 되는 것(Out-of-scope) | 지금은 못 하는 영역·작업을 명시적으로(예: 다른 영역·코드 분석·생성) | “왜 이건 안 되냐”는 반발, 가치 의심 |
| 전제조건(Preconditions) | 동작에 필요한 입력·권한·사전 작업(예: 해당 영역 담당자의 도메인 지식 주입) | 전제 없이 돌려 “고장 났다”는 오판 |
| 출력 일관성 수준 | 같은 입력에 결과가 얼마나 일정한가(LLM(대규모 언어 모델) 비결정성). 목표 품질과 사용자가 채울 여백을 함께 | “버튼 한 번에 완성”으로 기대 |
| 사람 확인 구간(HITL) | 그냥 써도 안전한 구간 vs 전문가 검수가 필수인 구간, 통과·탈락 체크리스트 | 검수 없이 확산 → 슬롭·신뢰 손상 |
출력 일관성 수준 칸은 비결정성을 약점이 아니라 사양으로 적는 자리다. “같은 요청을 반복해도 매번 완벽할 수는 없다”는 본질을 “목표 품질 + 사용자가 채울 여백”으로 적으면, 받는 사람은 검증 없는 낙관 대신 검수를 전제로 산출물을 받는다.
“다 됐다” 대신 무엇을 보고하나
능력 경계 명세가 보고와 만나는 지점이 여기다. “에이전트로 다 했다”는 한 문장은 경계·전제·일관성·검수 구간을 전부 탈락시킨 단정이다. 이 문장을 세 줄로 강제 치환한다.
- 무엇이 되는가: in-scope 작업과 그 위의 증거 등급(L0~L5).
- 무엇은 아직 안 되는가: out-of-scope + 전제조건 미충족분.
- 사람이 확인할 구간: 검수가 끝난 부분과 남은 부분, 출력 일관성 수준.
“다 됐다”는 능력 경계가 빠진 주장이고, 위 세 줄은 능력 경계가 박힌 보고다. 앞서 “등급 없는 ROI는 보고가 아니라 주장”이라 했듯(실패모드 7), 경계 없는 “완성”도 보고가 아니라 기대 조작이다.
사례: “다 된다”가 위로 올라가며 커진 간극
예를 들어 한 B2B SaaS 운영팀이 내부 개발 자동화 도구를 만든다. 사실상 화면(프론트) 영역만 동작한다. 기존 화면 코드에 요구 문서와 디자인을 넣으면 검토 가능한 산출물까지 이어지지만, 코드 분석 엔진도 백엔드 생성 엔진도 없다. 다른 영역으로 넓히려면 그 영역 담당자가 도메인 지식을 직접 주입해야만 한다. 추진 리더 본인도 완성도를 냉정히 낮게 본다.
1단계 — 경계 미선언. “되는 범위”와 “안 되는 범위”가 받는 사람의 언어로 선언되지 않았다. 비개발 직군은 “버튼 한 번에 다 된다”를 기대하고, 백엔드도 당연히 되는 줄 알고 적용을 요청한다. 결과가 못 미치자 “왜 이건 안 되냐”, “범용 도구와 뭐가 다르냐”는 반발이 나온다.
2단계 — 비결정성이 더한다. 같은 요청을 반복해도 산출에 갭이 남는다. 실무자는 결과가 고객 경험을 훼손하지 않는지 확신하지 못해 “더 검증·보완해야 한다”고 본다. 가치 가설(같은 시간에 실험을 더 돌린다)에 대해 실무 리더는 방향은 맞지만 실제로 되는지 확인하는 과정 없이 베스트 케이스만 가정한다고 짚는다.
3단계 — 단정적 상향보고. 중간관리 계층을 경유하며 산출물이 보고자 본인의 언어로 바뀌어 올라간다. 의사결정·측정·비용이 적힌 상세 문서는 거의 위로 넘어가지 않고, 도구를 어떻게 뿌릴지만 일부 얘기된다. 더 기다리기 어려운 중간관리자는 상위 리더에게 “에이전트로 다 했다”고 단정 보고한다. 실제 도구는 프론트 한정·낮은 완성도인데 상층부는 “거의 완성”으로 인식한다. 임원마다 기대가 정반대로 갈린다(한쪽은 엔지니어링 개선, 다른 쪽은 비용 절감).
4단계 — 미성숙 전사 공유. “외형이 안 갖춰지면 설득 비용이 크다”, “맞건 틀리건 일단 빠르게 공개하자”는 기조로 단계적 검증 없이 전사 공개가 강행된다. 능력 경계 미선언 + 비결정성 + 상향 낙관이 누적된 채 미성숙 산출물이 퍼지자, 기대에 못 미친 채 확산돼 도구와 추진 조직의 신뢰가 깎인다. 저품질 자작 산출물도 함께 늘고, “노력했는데 나아진 게 뭐냐”는 의구심이 커진다.
리더의 교훈: 이 네 단계는 AI 도구를 띄우는 조직에서 흔히 나타나는 보편 패턴이다. 보통 한 자리에서 인과로 묶여 보이지 않고 서로 다른 회의에 분산돼 나타날 뿐, 끊는 지점은 하나다. 첫 단계에서 능력 경계 명세를 산출물에 붙였다면 백엔드 오해도, “다 됐다”는 상향 단정도, 미성숙 공유도 같은 뿌리에서 끊긴다. “다 됐다”를 들으면 리더는 칭찬하기 전에 세 줄을 요구한다. 무엇이 되는가(+증거 등급), 무엇은 아직 안 되는가, 사람이 확인할 구간은 어디인가. 경계가 빠진 “완성”은 보고가 아니라, 위로 올라갈수록 커지는 기대 조작이다.
개선율과 재무 효과 사이의 선
가장 자주 헷갈리는 경계를 못 박는다. 개선율과 재무 효과는 등급이 다르다.
| 구분 | 개선율(L2~L3) | 재무 효과(L4 이상) |
|---|---|---|
| 말하는 단위 | 시간·건수·비율(%) | 원화(절감·회피·기여) |
| 필요 증거 | 기준선 + (가능하면)비교군 | 절감의 원화 전환 확인 |
| 대표 문장 | “리드타임 p90 개선” | “외주비 연 단위 감소 확인” |
| 흔한 비약 | 없음(이 자체는 정직) | 개선율 × 시급 = 절감액 (재배치 확신도 누락) |
| 가드레일 | 품질 비회귀 확인 | 절감 시간이 대기·회의로 사라지지 않았는지 확인 |
가장 흔한 비약은 **“개선율 × 인건비 = 절감액”**이다. 처리 시간이 줄어도 그 시간이 검증된 산출로 재배치되지 않으면 장부에 절감이 잡히지 않는다. 줄어든 시간은 다른 회의·대기·컨텍스트 전환으로 흩어진다. 재무 효과는 “시간이 얼마 줄었나”가 아니라 “그 시간으로 무엇이 추가로 끝났나, 어떤 외부 비용이 사라졌나”로 증명한다.
비용 측면도 같은 등급으로 본다
증거 등급은 가치에만 적용되지 않는다. 비용도 같은 정직성으로 표기해야 순가치가 성립한다. 순가치(인정 가치 − AI 총비용, 9장 참조)에서 가치만 L4로, 비용은 토큰비만 잡으면 그 ROI는 거짓이다.
| 비용 항목 | 흔한 누락 | 보고에 포함해야 하는 이유 |
|---|---|---|
| 모델·API·토큰 | (대개 유일하게 잡힘) | 에이전틱은 작업당 토큰을 여러 배 소비 |
| 검수·재작업 시간 | 자주 누락 | 사람 검토가 새 단계로 늘면 절감이 상쇄됨 |
| 에이전트 리더블 전환비 | 거의 누락 | 데이터·스키마 준비가 가장 큰 숨은 비용(7장) |
| 운영 고정비(서버·인증·모니터링) | 자주 누락 | 풀스택으로 키운 파일럿의 누적 부담(6장) |
| 기반 비용 배분액 | 거의 누락 | 재사용 자산은 단일 과제에 전액 귀속 금지 |
비용을 토큰 한 항목만 잡고 가치를 L4로 보고하면 그 순가치는 증거 등급 미달이다. 단위 업무 비용은 사람 시간·AI 운영·검수·재작업·기반 배분을 합산한 뒤에야 “내려갔다”를 말할 수 있다(11장 총비용 참조).
흔한 실패모드
증거 등급이 무너지는 자리를 보고 회의용 신호로 정리한다. 레드플래그는 “이 말이 나오면 의심하라”는 판별구다.
1 — 등급 인플레이션. L0~L2 증거 위에 L4 문장을 올린다. 레드플래그: “체감상 빨라졌으니 절감액은 이 정도입니다” — 기준선·재무 확인 없이 금액 등장. 차단: 워크시트로 현재 등급을 먼저 박고 문장을 그 등급으로 끌어내린다.
2 — 사후 기준선. 성과가 나온 뒤 “그 전엔 대략 이랬다”를 기억으로 채워 L2라 주장한다. 레드플래그: “적용 전 데이터는 없지만 더 오래 걸렸던 걸로 기억합니다.” 차단: 기준선은 파일럿 입구 조건(8장). 사후 추정은 L1로 강등.
3 — 대리지표 둔갑. 코드량·문서량·토큰·분류 정확도를 성과로 보고한다(활동량 오인). 레드플래그: “코드량 몇 배, 초안 생성 몇 배 달성.” 차단: 사용·산출 지표는 L1까지만. 성과는 검증 완료된 업무 단위로만(9장 참조).
4 — 시간 → 돈 직환산. 절감 시간에 시급을 곱해 곧장 재무 효과로 보고한다(재배치 확신도 누락 허수). 레드플래그: “빨라진 만큼 인건비도 그대로 절감입니다.” 차단: 재배치 확신도(9장)를 곱해 전환을 확인. 없으면 L2.
5 — 비용 반쪽 보고. 가치는 풀세트, 비용은 토큰비만 잡아 순가치를 부풀린다. 레드플래그: “토큰 비용은 미미하니 사실상 전부 순이익입니다.” 차단: 단위 업무 비용에 검수·재작업·운영·기반 배분 합산(11장).
6 — 단일 사례의 전사 비약. 한 팀의 L3 성과를 곧장 L5 전략 KPI로 보고한다. 레드플래그: “이 팀에서 됐으니 전사 생산성이 이만큼 오릅니다.” 차단: L5는 전략 KPI에 실제 반영·추적될 때만. 재현 확인 전에는 L3.
7 — 등급 미표기 ROI. 가장 흔하고 근본적인 실패. 등급 표기 없이 ROI만 단정해 듣는 사람이 강도를 몰라 과신하거나 전면 불신한다. 레드플래그: “ROI 몇 배”가 등급 없이 표지에 박힘. 차단: 모든 성과 주장에 L 등급 병기 의무화. 등급 없는 ROI는 보고가 아니라 주장이다.
8 — 경계 미표기 ‘완성’. 7번이 숫자의 강도를 가린다면 이건 능력의 범위를 가린다. 되는 것·안 되는 것·전제·일관성·검수 구간 없이 “에이전트로 다 했다”고 단정 보고한다. 듣는 사람은 범위 밖까지 되는 줄 알고, 기대와 현실의 간극은 보고가 상층부로 올라갈수록 벌어진다. 레드플래그: “이건 이제 다 됩니다”가 어디까지 되는지·무엇은 안 되는지 없이 등장. 차단: ‘다 됐다’를 세 줄로 치환한다 — 무엇이 되는가(+등급), 무엇은 안 되는가(out-of-scope·전제 미충족), 사람이 확인할 구간(능력 경계 명세 참조). 경계 없는 ‘완성’은 보고가 아니라 주장이다.
Before/After: 같은 성과, 두 가지 보고
예를 들어 한 운영팀이 반복 처리 업무에 에이전트 워크플로를 한 분기 운영했다. 처리 시간이 줄었고, 이를 경영진 분기 리뷰에 올리려 한다.
Before — 등급 없는 부풀린 보고. 표지에 “처리 생산성 대폭 향상, 연간 인건비 절감 확정, ROI 세 자릿수.” 캐물으니 기준선은 사후 추정, 비교군 없음, 절감액은 시간 감소 × 시급, 비용은 토큰비만. 재무 실사에서 절감액이 대부분 깎이고 신뢰를 잃는다.
After — 등급을 표기한 정직한 보고. 같은 성과를 워크시트에 넣는다. 로그 있음(L1), 사전 기준선 일부, 전후 비교 가능(L2), 비교군 없음(L3 미달), 재무 전환 미확인(L4 미달). 현재 등급 = L2.
“처리 시간 기준선 대비 p90 개선 관측(L2 전후 비교). 비교군 검증 미실시로 조직 성과는 미확정. 재무 효과는 절감 시간의 원화 전환 확인 전까지 보고하지 않음. 단위 업무 비용은 검수·운영 포함 시 기준선 대비 하락(품질 가드레일 비회귀 확인). 다음 단계: 유사팀 비교군 설계로 L3, 절감 시간 재배치 확인으로 L4 검토.”
말할 수 있는 것(개선율)은 분명히 말하고 말할 수 없는 것(재무 효과)은 보고하지 않는다. 등급을 표기했으므로 강도가 분명하고, “다음 단계”가 등급 상승 로드맵이 되어 예산 확대(L3)를 무엇으로 받아낼지가 분명하다.
| 구분 | Before(등급 없음) | After(등급 표기) |
|---|---|---|
| 표지 숫자 | “ROI 세 자릿수 확정” | “처리시간 p90 개선(L2)” |
| 기준선 | 사후 추정 | 사전 확보분만 사용 |
| 재무 주장 | 시간×시급 직환산 | L4 전까지 보고 안 함 |
| 비용 | 토큰비만 | 검수·운영 포함 |
| 실사 후 | 대부분 깎임, 신뢰 손상 | 등급대로 유지, 다음 등급 로드맵 확보 |
두 보고는 같은 성과에서 출발했다. 갈린 지점은 하나 — 증거가 허락하는 만큼만 말했는가다.
리더가 승인·요구할 신호
보고서를 사이에 둔 양쪽이 같이 쓰는 게이트다. 승인자에게는 신뢰·반려 기준, 실무자에게는 통과 체크리스트다. 거버넌스 세부는 17·18장 참조.
요구할 것 (없으면 보고를 신뢰하지 않는다)
- 모든 성과 주장에 증거 등급(L0~L5) 표기가 있는가. 등급 없는 숫자는 강도를 알 수 없으므로 반려한다.
- 경영진 보고는 L2 이상인가. 체감(L0)·사용 로그(L1)만으로 “개선됐다”고 말하지 않는다.
- 예산 확대 요청은 L3 이상인가. 비교군 검증 없는 확대는 한 팀의 우연에 전사 예산을 거는 일이다.
- 재무 효과 주장은 L4 이상인가. 절감 시간의 원화 전환(재배치 확신도)이 확인됐는가.
- 가치뿐 아니라 비용도 풀세트(검수·재작업·운영·전환비)로 잡혔는가.
- 자동화 산출물에 능력 경계 명세(되는 것·안 되는 것·전제조건·출력 일관성 수준·사람 확인 구간)가 붙어 있는가. 경계 없는 “다 됐다”는 등급 없는 ROI와 같은 병이므로 그대로 신뢰하지 않는다.
반려할 것
- 증거 등급 없는 ROI 단정. “ROI 몇 배”가 등급·기준선·비용 구성 없이 표지에 박힌 보고.
- 경계 미표기 “완성” 보고. “에이전트로 다 했다”가 무엇까지 되고 무엇은 안 되는지 없이 올라온 보고. “다 됐다” 대신 세 줄(무엇이 되는가+등급·무엇은 안 되는가·사람 확인 구간)로 받는다.
- 사후 추정으로 채운 기준선 위의 전후 비교(L2 사칭).
- 코드량·문서량·토큰·분류 정확도 같은 대리지표를 성과로 올린 보고(L1 둔갑).
- 절감 시간에 시급을 곱한 직환산 재무 효과.
- 한 팀의 L3 성과를 전사 KPI(L5)로 비약한 보고.
승인할 것
- 말할 수 있는 만큼만 말하고, 못 말하는 것은 “다음 등급에서 보고”로 미룬 정직한 보고.
- 현재 등급과 함께 다음 등급으로 올릴 로드맵을 붙인 보고.
- 개선율(L2~L3)과 재무 효과(L4)를 섞지 않고 분리해 말한 보고.
이 장의 요약
- 이 장은 **“잰 것을 어디까지 말해도 되느냐”**다. 보고는 증거가 허락하는 만큼만 한다.
- 모든 성과 주장을 L0~L5 중 하나로 판정한다(L0 체감 / L1 로그 / L2 전후 비교 / L3 비교군 / L4 재무 / L5 전략 KPI). 등급이 곧 발언권이다.
- 개선율(L2~L3)과 재무 효과(L4+)는 다른 등급이다. 원화 절감은 실제 전환이 확인된 L4 이상에서만.
- 등급은 주장으로 오르지 않는다. 증거의 형태를 바꿔야 한 칸 오른다. L1 → L2와 L3 → L4의 벽이 가장 자주 무너진다.
- 기준선은 파일럿의 산출이 아니라 입구 조건이다(8장). 사후 추정 기준선 위의 전후 비교는 L2가 아니라 L0다.
- 비용도 같은 정직성으로 표기한다. 가치만 L4로, 비용은 토큰비만 잡으면 순가치는 거짓이다(11장 참조).
- 보고 규칙 한 줄: 경영진 보고 L2+, 예산 확대 L3+, 재무 효과 L4+. 등급 없는 ROI는 보고가 아니라 주장이다.
- 산출물에는 능력 경계 명세(되는 것은 무엇이고 어느 등급인가·안 되는 것은 무엇인가·전제·일관성과 사람 확인 구간은 어디인가)를 첨부한다. “에이전트로 다 했다”는 세 줄 — 무엇이 되는가(+등급), 무엇은 안 되는가, 사람이 확인한 구간 — 으로 치환한다. 경계 없는 ‘완성’은 보고가 아니라 기대 조작이다.
- 이 척도는 12장 통과 게이트의 입력이다. 확대·유지·보류·폐기 판정은 증거 등급 위에서만 정직하다.