잘 돌아가는 데모 앞에서 아무도 답하지 못한 질문
AI를 도입한 조직이라면 어디서든 반복되는 분기 리뷰 장면이다. 대시보드에는 늘어난 좌석 수, 호출 수, “이번 분기 AI 적용 과제”가 가득하다. 데모는 매끄럽다 — 봇은 요청을 분류하고 초안을 만들고 답변을 돌려준다. 발표가 끝나면 한 임원이 묻는다. “그래서 이걸로 무엇을 끝냈습니까. 비용은 줄었고, 더 빨라졌고, 품질은 유지됐습니까.”
방 안이 조용해진다. 누구도 한 문장으로 답하지 못한다. 사용량 그래프는 우상향이지만, “무엇이 검증을 통과해 완료됐는가”를 묻는 순간 모두 말을 흐린다. 초안 수, 요청 수, 토큰은 많으나 어느 것도 “줄어든 비용”이나 “단축된 리드타임”으로 번역되지 못한다.
이것은 한 회사의 사고가 아니라 구조적 패턴이다. AI를 도입하는 거의 모든 조직이 같은 자리에서 같은 침묵을 겪는다. 도구는 늘었는데 일은 그대로고, 사용량 청구서와 성과 보고서가 다른 이야기를 한다. 실제로 2026년 업계 데이터와 연구는 AX 실패의 대부분이 도구·모델 성능이 아니라 전략·거버넌스·변화관리에서 온다고 일관되게 가리킨다. 이 어긋남은 도구나 프롬프트를 더 잘 골라도 풀리지 않는다. 원인은 도구 선택이 아니라 AX를 무엇으로 보느냐에 있다.
이 책의 단일 명제가 여기서 출발한다.
AX는 ‘AI 도구를 더 쓰는 일’이 아니다. 내 조직의 업무를, 같은 인원이 만든 ‘검증된 산출’로 재설계하고, 그 효과를 비용·리드타임·품질로 증명한 뒤, 일회성 영웅담이 아니라 통제 가능한 반복 체계로 정착시키는 일이다.
이 장은 그 명제의 첫 절반 — ‘도구를 쓰는 일’과 ‘운영 체계를 바꾸는 일’은 다르다 — 을 세운다. 1장은 왜 사용량으로는 성과를 말할 수 없는가를, 9장(AI leverage 측정)은 그렇다면 무엇으로 말하는가를 도구로 준다. 한 장은 시선을 바꾸고, 다른 장은 자를 준다.
핵심 구분: ‘AI를 많이 쓰는 것’과 ‘AI leverage’는 다른 일이다
가장 먼저 깨야 할 등식. 사용량 ≠ 성과. 토큰을 더 썼다고, 호출·좌석이 늘었다고 일이 바뀐 것이 아니다. 이 등식을 깨지 못하면 나머지 모든 결정이 어긋난다.
- 사용량(usage) — AI를 얼마나 썼는가. 토큰, 호출 수, 활성 사용자, 좌석 사용률, 초안 수.
- AI leverage(검증된 산출 배수) — 같은 인원이 검증된 산출을 얼마나 더 만들었는가. 검토·테스트·승인·배포·완료·재무 확인을 통과한 산출의 배수.
여기서 leverage는 일반 영어에서 ‘AI를 활용한다(leverage AI)‘고 할 때의 ‘활용’이 아니라, 이 책에서는 검증된 산출의 배수만을 가리킨다.
핵심 단어는 ‘검증된’이다. 봇이 초안을 다량 만들어도, 검토를 통과해 고객에게 전달되고 문제없이 닫히지 않았다면 leverage는 0에 가깝다. 검토 부담만 늘렸다면 음수다. 산출이 늘수록 사람이 더 바빠지는 구조라면 leverage가 아니라 새로 생긴 일이다. (검증된 산출의 정의는 서문·이 장이 정본.)
이 구분을 표로 고정한다. 이후 모든 장이 오른쪽 열을 향한다.
| 구분 | 사용량 지표 (성과로 착각하기 쉬운 것) | AI leverage 지표 (실제 성과) |
|---|---|---|
| 무엇을 세는가 | 토큰, 호출 수, 좌석, 생성 초안 수 | 검증 완료된 업무 단위 수 |
| 누가 만드는가 | 도구·모델 | 같은 인원 + 도구 |
| 통과해야 하는 관문 | 없음(생성되면 끝) | 검토·테스트·승인·배포·완료·재무 확인 |
| 늘면 좋은가 | 비용 통제에는 필요, 성과로는 불충분 | 비용 차감 후에도 남으면 성과 |
| 보고 문구 | “AI를 많이 썼다” | “무엇이 줄었다·빨라졌다·좋아졌다” |
사용량 지표를 버리라는 말이 아니다. 토큰·호출·좌석은 비용 통제와 남용 탐지에 필요한 보조 지표다. 다만 완료된 업무와 연결될 때만 성과의 일부가 된다 — 입구이지 성과가 아니다.
측정 도구를 직접 설계해 운영에 넣고, 그 숫자로 확대·폐기를 판정해보며 가장 빨리 배운 것이 있다. 사용량 그래프는 거짓말을 하지 않는다 — 다른 질문에 답할 뿐이다. “얼마나 썼나”에는 정확히 답하고 “무엇이 끝났나”에는 한마디도 못한다. 수많은 조직의 리뷰에서 무너지는 것은 그래프가 아니라, 그래프에게 잘못된 질문을 던진 보고 구조다.
채택과 비용 사이의 빈 공간 — 그리고 그것을 메우는 단위
조직의 AX 측정은 보통 양쪽 끝 — 채택과 비용 — 만 존재한다.
두 끝은 측정하기 쉬워 조직은 이 둘만 보고 성과를 말하려 한다. 그러나 그 사이 “검증된 일이 얼마나 더 처리됐나”가 비어 있다.
이 빈 공간을 메우는 단위는 도구가 아니라 업무 단위(work unit) 다. 처리 건 하나, PR 하나, 리포트 한 장, 의사결정 하나. 그 공백을 ‘검증된 업무 단위’로 메우는 것이 이 책이 하는 일이고, 구체적으로는 하나의 ID로 세 가지가 연결되는 것이다.
| 연결해야 할 것 | 어디서 나오는가 | 없으면 생기는 일 |
|---|---|---|
| 비용 로그 | 토큰·API·구독·인프라 | 비용은 보이는데 무엇에 썼는지 모름 |
| 업무 완료 로그 | 승인·배포·전달·완료 | 끝난 일은 있는데 비용을 못 붙임 |
| 검증 결과 | 검토·테스트·반려·재작업·품질 | “빨라졌다”는데 품질이 어떤지 모름 |
이 셋이 같은 업무 단위 ID로 묶이지 않으면, “AI 사용량이 늘었다”와 “성과가 났다”는 영원히 다른 테이블에 남는다. 거창한 대시보드가 아니라 초기에는 공용 스프레드시트·협업 DB·기존 BI로 충분하다. 새 시스템이 아니라, 흩어진 세 로그를 같은 ID로 묶는 일이다. 장부의 정교한 형태는 9장, 비용 구성은 11장, 에이전트가 읽을 데이터 준비는 7장의 몫이다.
두 축으로 보는 리더의 일 — 같은 리더가 동시에 쥔다
AX를 ‘운영 체계 전환’으로 보면 리더의 일도 다시 정의된다. 리더가 할 일은 ‘AI를 더 많이 만드는 것’이 아니다. 이 책은 리더의 결정을 두 축으로 나눈다.
| 축 | 핵심 질문 | 이 책에서의 위치 |
|---|---|---|
| (B) 실행 축 | 어느 업무를 재설계하고, 무엇으로 증명하고, 무엇을 만들지 않을 것인가 | Part 1~3 (책 전면) |
| (A) 의사결정·승인 축 | 왜 투자하고, 무엇을 측정하며, 어떤 위험·자율성·비용·거버넌스 신호를 승인·통제할 것인가 | 각 장 신호 박스 + Part 4 |
두 축은 같은 리더가 동시에 쥔 결정이다. 다만 이 책은 실행 축(B)을 전면에 둔다. 거버넌스·통제·아키텍처(축 A의 일부)는 컨설팅 백서가 두껍게 점령했고 가장 빨리 낡는다. 정작 비어 있는 것은 “내 조직에서 무엇을 바꾸고 어떻게 증명하는가”다. 그래서 의사결정 축의 통제는 각 장 말미 ‘리더가 승인·요구할 신호’ 박스와 Part 4(16~18장)로 다룬다.
9장의 ‘AI leverage 측정’은 강력한 도구지만 책의 척추는 아니다. 측정·비용·자율성·거버넌스는 각 결정 지점에 녹아 작동하는 판단 기준이지 그 자체가 목적인 새 레이어가 아니다. 측정 자체가 목적이 되면 대시보드를 채우는 일이 새 업무가 되고 재설계는 멈춘다. 측정을 다루는 이유는 하나 — ‘검증된 산출로 말하는 공통 장부’가 없으면 재설계도 증명도 확산도 공중에 뜨기 때문이다.
단계별 적용: 사용량 보고를 leverage 보고로 바꾸는 4단계
관점만으로는 회의가 바뀌지 않는다. 다음 분기 리뷰부터 보고 구조를 바꾸는 4단계를 둔다. 이후 장들(5장 재설계 → 8장 파일럿 → 9·10장 증명 → 12장 게이트)의 예고편이다.
1단계 — 사용량 지표를 단독 성과로 쓰지 않는다. “호출 증가”, “좌석 사용률 상승”, “초안 대량 생성”은 헤드라인이 될 수 없다. 사용량은 보조 칸으로 내리고, 헤드라인은 ‘무엇이 줄었다·빨라졌다’가 차지한다.
2단계 — 모든 과제에 ‘검증된 산출’ 정의를 첨부한다. “이 업무 1건의 완료는 무엇인가”를 한 줄로 박는다. 완료 = 검토 + 테스트 + 승인 + 실제 전달·배포. 없으면 “끝났다”를 말할 기준이 없다.
3단계 — 기준선을 먼저 잡는다. AI 적용 전의 처리량·리드타임·품질·비용을 숫자로 확보한다. 기준선 없는 개선율은 측정이 아니라 인상이고, 확대 결정을 못 내린다. (작게 잡는 법은 8장.)
4단계 — 보고 문구를 증거 등급에 맞춘다. 같은 성과라도 증거 강도에 따라 말할 수 있는 것이 다르다. 증거 등급(L0~L5)은 10장이 정본, 여기서는 골격만 확인한다.
| 등급 | 말할 수 있는 것 | 허용 보고 문구 |
|---|---|---|
| L0 | 체감 사례 | “가능성이 보인다” |
| L1 | 사용·산출 로그 | “사용과 산출이 확인된다” |
| L2 | 전후 비교 | “전후 비교에서 개선이 관측된다” |
| L3 | 비교군 검증 | “비교군 기준으로 개선이 확인된다” |
| L4 | 재무 연결 | “재무 효과로 인정 가능하다” |
| L5 | 전략 KPI 연결 | “전사 전략 KPI에 반영 가능하다” |
보고 규칙: 경영진 보고는 L2 이상, 예산 확대는 L3 이상, 재무 효과 주장은 L4 이상에서만. 이 한 줄이 “사용량이 늘었다”는 공허한 보고와 “증거 등급 없는 ROI 단정”을 함께 막는다.
체크리스트: 우리 조직은 ‘AX’를 하고 있나, ‘AI를 많이 쓰고’ 있나
‘아니오’가 많을수록 ‘AX’가 아니라 ‘AI 사용량 증가’를 하고 있을 가능성이 크다. 서문·3장 자가진단과 짝을 이루되, 여기서는 ‘운영 체계로 보고 있는가’만 좁혀 묻는다. 영역마다 단계가 다르니(3장 비선형 원칙), 한 영역을 골라 답하라.
- 지난 분기 성과 보고의 헤드라인이 사용량 지표(호출·좌석·초안 수)가 아니다.
- AX 과제마다 ‘검증된 산출’의 정의(완료 = 검토·테스트·승인·전달)가 문서로 있다.
- 적어도 한 과제에서 AI 적용 전 기준선(처리량·리드타임·품질·비용)을 숫자로 댈 수 있다.
- 비용 로그·업무 완료 로그·검증 결과가 같은 ID로 연결되어 보고된다.
- 성과를 말할 때 **증거 등급(L0~L5)**을 함께 표기한다.
- “절약된 시간”을 곧바로 “절감된 비용”으로 보고하지 않는다(재배치가 확인될 때만 인정).
- 잘 된 데모를 곧 전사 전환으로 착각하지 않는다(파일럿과 전환을 구분한다).
마지막 항목이 가장 중요하다. 파일럿을 전환으로 착각하는 것은 AX 실패의 가장 큰 단일 동인이다. 한 번의 시연을 전사 전환으로 오해하고 다음 파일럿이 실패하면 스폰서가 떠난다. 데모는 시작이지 도착이 아니다. (8장 파일럿, 12장 판정.)
흔한 실패모드 — ‘도구 도입’으로만 본 조직에서 반복되는 패턴
AX를 ‘도구를 더 쓰는 일’로 본 조직에서 업계 전반에 걸쳐 반복 관측되는 패턴이다. 특정 회사의 사정이 아니라, AI를 도입하는 조직이 시선을 바꾸지 않으면 흔히 빠지는 보편적 함정이다. 각 모드의 레드플래그는 “이 말이 나오면 의심하라”는 회의용 판별구다.
1 — 사용량을 성과로 보고. 호출 수·좌석 사용률·초안 수가 헤드라인이 된다. “많이 썼다”만 남고 “무엇이 끝났나”에 답하지 못한다. 레드플래그: “AI 호출이 크게 늘었습니다”가 그 자체로 성과로 보고된다. 차단: 4단계 1단계 + leverage 구분표.
2 — 일화로 도구를 대량 도입. 외부 성공담을 검증 없이 인용해 고가 도구를 대량 도입하지만 현업은 쓰지 않는다. 셋업·교육 공수만 쓰고 “왜 안 쓰냐”는 압박이 남는다. 레드플래그: 도입 근거가 데이터가 아니라 외부 전언이다. 차단: 도입 전 ‘최소 사용 실증’ 게이트(2장).
3 — 기준선 없이 ROI를 요구. 행위의 정의도 기준선도 없이 “쓴 만큼 증명하라”고 요구한다. 그러면 실무자는 코드량·문서량 같은 잘못된 대리지표를 들고 오게 되고, 틀렸다는 걸 모두가 안다. 레드플래그: 기준선·완료 정의 없이 “효과를 가져와라”가 반복된다. 차단: 4단계 3단계.
4 — 단일 원장 없이 숫자가 갈린다. 같은 지표가 조직마다 다른 테이블을 참조해 달라진다. 추적 불가, “정답이 뭐냐” 합의가 안 돼 검증이 반복된다. 레드플래그: 같은 사안에 부서마다 다른 숫자가 나온다. 차단: 단일 원장(SSOT) + 업무 단위 ID 로그 연결.
5 — 사람 절차를 그대로 봇에 복제. 신청·승인·확인 절차를 둔 채 답변만 AI로 바꾼다. 요청량 불변, 비용만 증가. 레드플래그: “기존 프로세스는 그대로 두고 AI가 빠르게 처리합니다.” 차단: 5장(자동화 전에 업무 재설계).
6 — AI 쓰레기·중복 투자. 수요 검증 없이 도구가 다수 시작되고 같은 기능이 여러 번 만들어진다. 책임 주체는 없다. 저품질 산출물 수습 부담만 늘고 가치 추적은 안 된다. 레드플래그: 중복 점검·수요 검증 없이 도구가 늘어난다. 차단: 6장(안티슬롭 게이트) — ‘수요 검증 통과 + 중복 없음’을 착수 조건으로.
여섯 모드는 어느 한 조직의 특수 사정이 아니라 한 뿌리에서 갈라진 공통 현상이다 — AX를 ‘운영 체계 전환’이 아니라 ‘도구를 더 쓰는 일’로 본 것이다. 도구로 보면 사용량이 성과처럼 보이고, 운영 체계로 보면 검증된 산출만 성과로 보인다. 시선이 바뀌면 보고가, 보고가 바뀌면 결정이 바뀐다.
Before/After: 같은 데이터, 두 개의 리뷰
예를 들어 한 B2B SaaS 운영팀이 반복 문의 처리에 AI를 적용해 봇이 문의를 분류하고 답변 초안을 만든다. 한 분기 뒤, 같은 데이터를 두고 보고 방식만 다르게 본다.
| 구분 | Before — 사용량 리뷰 | After — leverage 리뷰 |
|---|---|---|
| 헤드라인 | “AI 호출이 직전 분기 대비 크게 늘었습니다” | “재확인 문의를 기준선 대비 줄였습니다” |
| 핵심 숫자 | 호출 수, 생성 초안 수, 좌석 사용률 | 검증 완료 처리 건수, 리드타임 p50/p90, 반려율 |
| 완료 정의 | 없음(초안이 생성되면 끝) | 있음(검토·승인 통과 후 고객 전달) |
| 기준선 | 없음 | AI 적용 전 일정 기간의 처리량·리드타임·품질 |
| 비용 연결 | 토큰비만 따로, 성과와 무관 | 업무 완료 1건당 비용으로 환산 |
| 증거 등급 | 표기 없음 | L2(전후 비교) 명시 |
| 다음 결정 | “더 늘리자”(근거 불명) | “L3 비교군 검증 후 확대 판단”(12장 게이트) |
| 리더가 받는 답 | “많이 썼습니다” | “무엇이, 무엇 대비, 어떤 등급으로 줄었습니다” |
두 리뷰는 같은 운영, 같은 AI 역량, 같은 데이터에서 출발했다. 갈린 지점은 하나 — 사용량으로 봤는가, 검증된 산출로 봤는가다. Before는 “더 쓰자” 외에 결정을 못 내리고, After는 “무엇을 확대·중단할지”를 증거 등급 위에서 판단한다.
리더가 승인·요구할 신호
사용량 보고와 성과 보고가 충돌하는 자리에서 양쪽이 같이 쓰는 게이트다. 승인자에게는 “무엇을 통과·반려할지”의 기준, 실무자에게는 “무엇을 갖춰야 통과되는지”의 체크리스트다. 거버넌스 세부는 Part 4(16~18장).
요구할 것 (없으면 검토 테이블에 올리지 않는다)
- 사용량 지표만으로 성과를 보고받지 않는다. “호출·좌석·초안 수가 늘었다”는 성과 헤드라인은 반려한다.
- 모든 AX 과제에 ‘검증된 산출’ 정의(검토·테스트·승인·완료)가 첨부되어 있는가. 없으면 그 과제는 “끝났다”를 말할 자격이 없다.
- 비용 로그·업무 완료 로그·검증 결과가 같은 ID로 연결되어 있는가.
- 성과 주장에 **증거 등급(L0~L5)**이 붙어 있는가. 등급보다 센 문구는 반려한다(경영진 보고 L2 이상, 예산 확대 L3 이상, 재무 효과 L4 이상).
반려할 것
- 기준선 없이 ROI·효과를 단정하는 보고(리더 본인도 기준선 없이 효과를 요구하지 않는다).
- 잘 된 데모 하나를 곧 전사 전환으로 등치시키는 확대 제안(파일럿 ≠ 전환, 12장 게이트로 판정).
- 외부 일화만을 근거로 한 도구 대량 도입 제안(2장과 연결).
승인할 것
- 사용량 지표를 보조 칸으로 내리고, 헤드라인을 ‘검증된 산출의 변화’로 잡은 보고.
- 증거 등급을 넘지 않는 문구로만 성과를 주장하는 보고.
- “절약된 시간”을 재배치 확인 전까지 비용 절감으로 단정하지 않는 신중함.
이 장의 요약
- 사용량 ≠ 성과. 토큰·호출·좌석·초안 수는 보조 지표일 뿐. 성과는 검토·테스트·승인·배포·완료·재무 확인을 통과한 검증된 산출뿐이다.
- AX는 ‘AI를 더 쓰는 일’이 아니라, 같은 인원의 검증된 산출로 업무를 재설계 → 증명 → 정착시키는 운영 체계 전환이다.
- 채택과 비용 사이의 빈 공간을 메우는 단위는 업무 단위 — 비용·완료·검증 로그를 같은 ID로 묶는 것이다.
- 리더의 일은 두 축 — (B) 실행 축과 (A) 의사결정·승인 축. 이 책은 실행 축을 전면에, 의사결정 축을 신호 박스로 둔다.
- 측정은 책의 척추가 아니라 판단 기준이다. 측정 자체가 목적이 되면 재설계가 멈춘다.
- 다음 분기부터 보고를 바꿔라 — 사용량을 헤드라인에서 내리고, 완료 정의를 첨부하고, 기준선을 먼저 잡고, 증거 등급에 문구를 맞춘다.
- 가장 흔한 실패는 AX를 도구로 본 것이다. 시선을 운영 체계로 바꾸면 사용량은 입구로, 검증된 산출은 성과로 제자리를 찾는다.
사용량/leverage 구분, 업무 단위 연결, 두 축, 4단계 보고 전환, 실패모드는 도구·모델이 바뀌어도 유지되는 방법론 골격이다. 증거 등급 L0~L5는 10장, leverage 산식은 9장, 총비용 구성은 11장이 정본이다.