같은 봇, 다른 사고
두 팀이 거의 같은 에이전트를 만들었다. 둘 다 입력을 읽고, 분류하고, 결과를 시스템에 쓴다. 한 팀의 봇은 내부 회의록을 분류해 위키에 태그를 달고, 다른 팀의 봇은 고객에게 나갈 안내 메시지를 분류해 발송 큐에 넣는다. 기능 명세만 보면 형제다.
승인 회의에서 두 제안서는 “둘 다 분류 후 자동 실행하는 L2”로 한 줄에 묶여 같은 속도로 통과됐다. 한 분기 뒤, 위키 봇은 조용히 잘 돌았다. 고객 안내 봇은 한 번의 오분류로 잘못된 정책 안내가 외부로 나갔고, 그 한 건을 수습하는 데 그때까지 절약한 시간을 전부 토해냈다. 감사 대응 비용은 별개였다.
두 봇의 차이는 ‘무엇을 하는가’가 아니라 **‘틀리면 누가, 얼마나 다치는가’**에 있었다. 위키 봇은 틀려도 태그 하나 고치면 끝이다. 고객 안내 봇은 외부로 나가고, 되돌릴 수 없고, 책임이 따른다. 같은 기능, 다른 피해 반경(blast radius). 그런데 승인 게이트는 기능만 보고 둘을 같은 줄에 세웠다.
직접 여러 에이전트를 운영에 넣어보며 가장 비싸게 배운 것이 이것이다. 자율성 레벨은 기능 분류가 아니라 책임 분류다. 더 똑똑한 모델을 쓴다고 레벨이 올라가지 않는다. 틀렸을 때 피해가 외부로 새고, 되돌릴 수 없고, 사람이 즉시 멈출 수 없을 때 올라간다. 레벨이 올라간다는 것은 ‘더 좋은 AI를 허용한다’가 아니라 ‘더 강한 통제와 더 명확한 책임을 요구한다’는 뜻이다.
리더에게 필요한 것은 통제 명세의 구현이 아니라 회의 테이블에서 내릴 한 줄짜리 결정이다 — “이 제안에 어떤 레벨을 승인하고, 어떤 개입 권한을 요구할 것인가”. 그래서 이 장은 명세를 줄이고 신호를 굵게 다룬다. 16~18장은 의사결정·승인을 회의에서 바로 쓸 신호 중심으로 다룬다.
핵심 관점: 피해 반경으로 판정한다
가장 흔한 실수는 ‘기능으로 묻는 것’이다. “분류를 하나, 생성을 하나, 실행을 하나?” 이렇게 물으면 위키 봇과 고객 안내 봇이 같은 칸에 떨어진다.
올바른 질문은 하나다. “이게 틀리면, 피해가 어디까지 번지고, 되돌릴 수 있고, 사람이 즉시 멈출 수 있는가?” 기능이 아니라 피해 반경으로 판정한다 — 이 원칙이 이 장의 출발점이다. 전제가 되는 데이터·권한·시스템 준비는 7장에서 다룬다. 피해 반경을 가르는 네 축이 있다. 제안서를 받으면 이 넷부터 묻는다.
| 축 | 묻는 것 | 반경을 키우는 신호 |
|---|---|---|
| 실행 여부 | AI가 제안만 하나, 직접 실행까지 하나 | 실행이 있으면 반경↑ |
| 외부 영향 | 결과가 내부에 머무나, 외부(고객·파트너·대외 시스템)로 나가나 | 외부 발송·외부 쓰기는 반경↑ |
| 되돌림 가능성 | 틀린 결과를 취소·복구·격리할 수 있나 | 롤백 불가는 반경↑ |
| 중단 가능성 | 사람이 즉시 멈출 수 있나 | 중단 불가는 반경↑ |
이 네 축을 합치면 자율성 레벨이 나온다. 기능이 아니라 반경이 레벨을 정한다.
L0~L4 — 똑똑함이 아니라 책임의 사다리
주의: 이 L0–L4는 자율성(자율 실행의 정도) 척도다. 책 전반의 L0–L5 증거 등급(보고의 정직성, 10장)과는 다른 자다. 하나는 ‘얼마나 스스로 실행하는가’, 다른 하나는 ‘무엇을 증거로 말할 수 있는가’다.
또한 이 L0–L4는 이 책 고유의 정의이며, 업계에서 통용되는 AI 에이전트 자율성 레벨(통상 L0–L5, 자동차 자율주행 SAE 단계에서 차용)과는 단계 수·번호가 다르다. 대응을 굳이 맞추자면 이 책의 L4(완전자율) ≈ 외부 통념의 L5에 가깝다.
| 레벨 | 한 줄 정의 | 실행 | 사람의 자리 | 리더가 읽을 신호 |
|---|---|---|---|---|
| L0 도구 | 사람이 묻고 결과를 참고만 | 없음 | 사람이 전부 | 통제 거의 불필요. 빠르게 허용 |
| L1 어시스턴트 | AI가 추천·제안, 판단·실행은 사람 | 없음 | 사람이 최종 결정 | 품질 검수만. 외부 직접 발송 금지 |
| L2 반자율 | 정해진 규칙 안에서 여러 단계 수행, 최종 승인 지점 존재 | 제한적 | 승인 게이트에서 개입 | 승인 큐·범위 제한·실행 로그 필수 |
| L3 감독하 자율 | 제한 범위에서 계획·실행까지, 사람은 감시·중단 권한 유지 | 있음 | 감시하다 개입(HOTL=사람이 곁에서 감시·중단) | 샌드박스·롤백·실시간 모니터링·kill switch 필수 |
| L4 완전자율 | 사람 개입 없이 지속 실행 | 무인 | 상시 감시·강제 차단 | 극히 제한된 폐쇄 환경만. 고위험은 원칙 금지 |
세로로 내려갈수록 더 강한 통제를 ‘요구’한다. L0 → L4는 권한을 푸는 일이 아니라 책임 구조를 조이는 일이다. 리더가 보는 것은 “얼마나 똑똑한가”가 아니라 “이 레벨이 요구하는 통제가 제안서에 들어 있는가”다.
레벨을 한 단계 끌어올리는 트리거
다음 중 하나라도 해당하면, 제안서에 적힌 레벨이 무엇이든 최소 그 줄까지 끌어올린다. 레벨을 낮춰 신고하는 것이 가장 흔한 우회다.
| 트리거 | 최소 레벨 |
|---|---|
| 외부 시스템에 쓰기·삭제 권한이 붙는다 | L2 이상 |
| 다단계 툴 체인과 계획 실행이 포함된다 | L2 이상 |
| 사람 사전 승인 없이 조건부 자동 실행한다 | L3 이상 |
| 에이전트가 목표를 재정의·확장할 수 있다 | L3 이상 |
| 사람이 중단하지 못한 채 지속 실행한다 | L4 검토 |
핵심: ‘분류만 한다’는 말에 속지 마라. 분류 결과로 외부에 무언가가 나가거나 외부 시스템이 바뀌면, 그것은 더 이상 L1이 아니다.
위험 등급은 자율성과 곱해진다
자율성이 ‘얼마나 스스로 하는가’라면 위험 등급은 ‘틀렸을 때 얼마나 아픈가’다. 둘은 곱해진다 — 영향도 × 발생확률.
| 영향도 ＼ 발생확률 | 낮음 | 보통 | 높음 | 매우 높음 |
|---|---|---|---|---|
| 매우 높음(고객 권리·법적 효력·대규모 PII·중대 재무) | High | High | Critical | Critical |
| 높음(고객 경험 악화·민감정보 부분 노출·KPI 손상) | Medium | High | High | Critical |
| 보통(내부 재작업 증가·부분 비용 낭비) | Low | Medium | High | High |
| 낮음(국지적 불편·쉬운 복구) | Low | Low | Medium | Medium |
등급이 정해지면 처리 속도와 통제 강도가 갈린다. 위험 관리의 목적은 모든 것을 느리게 하는 게 아니다. 위험이 낮고 가치 가설이 분명한 것은 더 빨라야 한다.
| 등급 | 실행 경로 | 리더가 쥘 것 |
|---|---|---|
| Low | 패스트트랙 — 즉시 승인, 표준 로그, 분기 샘플 점검 | 막지 말고 통과시켜라 |
| Medium | 일반 심의, 조건부 승인, 월간 리뷰 | 조건을 달되 진행시켜라 |
| High | 상위 심의, 강화 통제, HITL 또는 HOTL 필수 | 사람 개입 지점을 직접 확인하라 |
| Critical | 배포 금지 또는 최고 승인 후 제한 운영 | 멈출 수 있는 구조 없이는 승인하지 마라 |
저위험 패스트트랙과 고위험 강화 심의를 한 통로에 욱여넣으면 둘 다 망가진다. 저위험은 위원회 속도에 갇혀 동력을 잃고, 고위험은 빠른 통로에 섞여 통제를 빠져나간다. 리더가 요구할 것은 통로의 분리다(17장).
사람을 어디에 둘 것인가 — HITL / HOTL
자율 실행 승인에서 반드시 짚을 단 하나는 ‘사람이 어디에 서 있는가’다. 세 자리가 있고, 세 번째는 사실상 금지선이다.
먼저 못 박을 것이 있다. 실전에서 중요한 것은 완전자율을 빨리 여는 것이 아니라, 어떤 업무를 사람 승인(HITL)·사람 감시(HOTL)·무인 실행(HOOTL) 중 어디에 둘지 정직하게 나누는 일이다. 현장의 다수는 무인 자율이 아니라 승인·감시·예외 처리 모델로 돌아간다. 완전자율은 도달해야 할 목표가 아니라 영향이 격리된 극소수에서만 허용되는 예외다. ‘완전자율 에이전트’를 로드맵의 종착점처럼 그리는 제안서일수록 이 표의 어느 칸에 서 있는지부터 되묻는다.
| 구분 | 사람의 자리 | 적합한 곳 | 주의 |
|---|---|---|---|
| HITL (Human-in-the-Loop) | AI가 제안 → 사람이 승인한 뒤 실행 | 법무·재무·HR·고객 영향 큰 업무 | 승인 피로·병목 주의. 모든 단계에 걸면 고무도장이 된다 |
| HOTL (Human-on-the-Loop) | AI가 실행하되 사람이 감시하고 멈출 수 있음 | 반복 운영 자동화, 영향 제한·롤백 가능 | 탐지가 늦으면 피해가 번진다. 모니터링·알림이 실제로 작동해야 한다 |
| HOOTL (Human-out-of-the-Loop) | 사람 개입 없음 | 완전 폐쇄형·저위험·영향 격리 가능한 극소수 | 고위험 데이터·고위험 액션이 끼면 금지 |
선택 원칙은 단순하다.
- 고객 권리·법적 효력·재무 집행이 걸리면 → HITL 필수. 사람의 승인 없이 실행하지 않는다.
- 내부 운영 자동화·영향 제한·롤백 가능하면 → HOTL 가능. 단, 감시와 중단이 진짜로 가능해야 한다.
- 고위험 데이터·고위험 액션이 끼면 → HOOTL 금지. 예외 없다.
직접 운영에 넣어보며 깨달은 함정이 있다. HOTL을 ‘감시한다’고 적어두고 정작 알림이 아무에게도 닿지 않거나 kill switch를 한 번도 눌러본 적이 없으면, 그것은 위장된 HOOTL이다. 감시는 선언이 아니라 작동하는 경로다. 리더가 요구할 것은 “감시한다”는 문장이 아니라 “지난주에 누가 중단 버튼을 눌러봤는가”다.
단계별 적용: 제안서를 받으면 이 순서로 묻는다
자율 실행 제안을 회의 테이블에서 30초 안에 분류하는 판정 흐름이다.
[자율 실행 제안서]
│
▼
Q1. AI가 실행까지 하는가?
├─ 아니오(제안·추천만) ──────────────▶ L0~L1. 품질 검수 후 빠르게 허용
└─ 예
│
▼
Q2. 결과가 외부로 나가거나
외부 시스템을 변경하는가?
├─ 예 ───────────────────────────────▶ 최소 L2. 외부 영향 = 반경 확대
└─ 아니오
│
▼
Q3. 사람 사전 승인 없이
조건부로 자동 실행하는가?
├─ 예 ───────────────────────────────▶ 최소 L3. 샌드박스·롤백·모니터링 요구
└─ 아니오(승인 게이트 있음) ──────────▶ L2. 승인 큐·범위 제한 요구
│
▼
Q4. 고객 권리·법적 효력·재무·
인사·보안 핵심이 걸리는가?
├─ 예 ───────────────────────────────▶ HITL 필수. 위험 등급 High↑ 강화 심의
└─ 아니오 ───────────────────────────▶ HOTL 가능(감시·중단 작동 조건)
│
▼
Q5. 사람이 즉시 멈출 수 있는가?
├─ 예 ───────────────────────────────▶ 통제 충족. 레벨에 맞는 승인 진행
└─ 아니오 ───────────────────────────▶ 승인 보류. kill switch 없이는 통과 없음결론은 늘 같다. 실행이 있고, 외부로 나가고, 되돌릴 수 없고, 멈출 수 없을수록 더 높은 레벨과 더 강한 통제를 요구한다. 통제가 제안서에 없으면 똑똑함과 무관하게 반려다.
레벨별로 리더가 ‘없으면 반려’할 통제
| 통제 항목 | L1 | L2 | L3 | L4 |
|---|---|---|---|---|
| 사람 승인 지점 | 최종 사용 시 | 필수 | 조건부·다단계 | 원칙적 필요 |
| 실시간 모니터링 | 권장 | 필수 | 필수 | 필수 |
| 롤백 가능성 | 권장 | 필수 | 필수 | 필수 |
| 비상 차단(kill switch) | 권장 | 필수 | 필수 | 필수 |
| 경영진 보고 | 불필요 | 분기 | 월간·사고 시 즉시 | 상시·즉시 |
L2부터는 승인 큐·모니터링·롤백·kill switch가 ‘있으면 좋은 것’이 아니라 ‘없으면 반려’다. 이 한 줄이 위장된 고위험 자동화를 거른다.
에이전트가 에이전트를 만들 때 (멀티 에이전트)
점점 자주 올라오는 제안이 멀티 에이전트다. 오케스트레이터 하나가 하위 봇 여럿을 만들어 일을 나눈다. 리더가 놓치기 쉬운 위험 — 자식 봇이 부모보다 큰 권한을 갖거나, 끝없이 자기를 복제하거나, 비용이 조용히 불어나는 것. 세부는 표준이 관리하지만, 리더가 쥘 신호는 세 줄이면 충분하다.
| 리더가 확인할 것 | 통과 기준 |
|---|---|
| 권한이 줄어드는가 | 자식의 자율성·권한은 부모의 부분집합. 자식이 부모보다 높으면 즉시 반려 |
| 무한히 번지지 않는가 | 생성 깊이와 동시 자식 수에 상한이 있는가(끝없는 재귀 금지) |
| 조용히 비싸지지 않는가 | 자식 누적 비용·수명에 상한과 자동 중단이 걸려 있는가 |
원칙 하나. 자식은 부모의 권한을 상속하는 게 아니라 부모 권한 안에서 축소된 부분만 받는다. 권한이 자식 대에서 커지는 구조, 자식이 부모를 거치지 않고 독립적으로 외부와 통신하는 구조는 그 자체로 반려 사유다.
떠 있는 에이전트를 한 장으로 — 운영 등록부
지금까지는 제안서 한 건을 승인하는 이야기였다. 그러나 승인은 한 번이고 운영은 계속된다. 에이전트는 켜진 뒤에도 권한이 추가되고, 비용이 불어나고, 다루는 데이터의 등급이 바뀐다. 승인 시점의 판정만 있고 운영 중 추적이 없으면, 분기 회고에서 “지금 무엇이 떠 있고, 누가 책임지며, 마지막으로 언제 점검했는가”에 아무도 답하지 못한다. 직접 여러 에이전트를 운영에 올려보며 가장 늦게 깨달은 빈칸이 이것이었다 — 판정은 했는데 떠 있는 것들의 명부가 없었다.
그래서 리더가 요구할 마지막 도구는 거창한 시스템이 아니라 한 장의 운영 등록부다. 운영 중인 모든 에이전트를 한 줄씩 등록하고, 분기마다 갱신한다. 새 열을 발명할 필요는 없다 — 이 장과 앞 장들에서 이미 판정한 값을 한자리에 모으는 것뿐이다.
| 등록 항목 | 무엇을 적나 | 출처(이미 판정한 것) |
|---|---|---|
| 에이전트·업무 ID | 무엇이 떠 있나 | — |
| Owner / 단일 Accountable | 누가 책임지나 | 17장 RACI |
| 데이터 등급·접근 권한 | 무엇을 읽고 쓰나 | 7장 |
| 자율성 레벨·위험 등급 | 얼마나 스스로 하고, 틀리면 얼마나 아픈가 | 이 장(L0~L4 / 위험 등급) |
| 사람의 자리 | HITL / HOTL / HOOTL 중 무엇인가 | 이 장 |
| kill switch·롤백 경로 | 어떻게 멈추고 되돌리나 | 이 장 |
| 비용 상한·호출/토큰 임계값 | 어디서 자동 중단되나 | 11장 |
| 마지막 점검일·증거 등급·실패/중단 이력 | 언제 봤고, 무슨 근거로 말하나 | 10장 |
| 재승인일(sunset) | 언제 다시 심의하나 | 12장 폐기 게이트 |
운영 규칙은 셋이면 충분하다.
- 등록되지 않은 에이전트는 운영 금지. 명부에 없는 봇이 돌고 있으면 그것이 Shadow AI다. 등록은 허가의 조건이지 사후 보고가 아니다.
- 재승인일이 지나면 자동 재심의. 17장의 ‘만료 없는 예외’ 차단과 같은 원리다 — 켜둔 채 잊히는 것이 가장 흔한 위험 누적 경로다.
- 빈칸은 다음 사고 지점. Owner가 비면 책임 공백, kill switch 칸이 비면 멈출 수 없는 자동 실행, 재승인일이 비면 좀비 에이전트다.
리더가 이 한 장에서 분기마다 볼 것은 단순하다. 떠 있는 에이전트 중 재승인일이 지난 것, 마지막 점검이 오래된 것, 멈춤 장치를 한 번도 눌러보지 않은 것. 이 셋이 0이면 운영이 통제되고 있는 것이고, 쌓여 있으면 다음 사고가 이미 예약된 것이다. (RACI는 17장, 폐기·재승인은 12장과 연결해 읽는다.)
흔한 실패모드
회의 테이블에 실제로 나타나는 지뢰들이다. 레드플래그는 “이 말이 나오면 의심하라”는 판별구다.
1 — 기능으로 레벨 판정. ‘무엇을 하는가’만 보고 ‘어디까지 번지나’를 안 묻는다. 레드플래그: “둘 다 분류 후 실행하는 L2”로 반경 다른 봇이 한 묶음. 차단: 판정 흐름 Q2·Q4.
2 — 레벨 낮춰 신고. 외부 쓰기가 붙었는데 “분류만”이라며 L1로. 레드플래그: 외부 발송·변경이 있는데 “추천만 한다”. 차단: 상향 트리거 표.
3 — 위장된 HOTL. “감시한다”지만 알림이 안 닿고 kill switch를 안 눌러봄. 레드플래그: “누가, 어떻게, 지난번에 멈춰봤나”에 답 없음. 차단: 작동 경로 + Q5.
4 — 승인 피로 고무도장. 모든 단계 HITL로 기계적 승인. 레드플래그: 분당 여러 건 클릭, 반려율 0 수렴. 차단: HITL은 고위험에만, 저위험은 HOTL.
5 — 모든 것을 위원회로. 저위험·고가치를 고위험과 한 통로. 레드플래그: 내부·되돌림 쉬운 과제가 몇 주째 대기. 차단: 통로 분리(17장).
6 — 비용·재귀 무방비 멀티 에이전트. 무제한 생성, 비용 상한 없음. 레드플래그: 깊이·동시 수·비용 상한 항목이 비어 있음. 차단: 멀티 에이전트 3신호.
7 — 롤백 없는 자동 변경. 되돌릴 수 없는 변경을 자동 실행. 레드플래그: “원복 방법”란이 비었는데 외부·운영 시스템 변경. 차단: 모든 실행형 레벨에서 금지.
8 — 전제 미정비 위에 자율성. 데이터·권한·시크릿 미정비 상태로 자율 실행. 레드플래그: “일단 자동화부터, 데이터·권한은 나중에”. 차단: 승인 전 7장 선행 확인.
9 — 운영 명부 부재. 승인만 하고 떠 있는 것을 추적 안 함. 레드플래그: “지금 몇 개가 돌고 있죠?”에 즉답 못 함. 차단: 운영 등록부, 미등록 시 운영 금지.
Before/After: 같은 제안, 다른 승인
예를 들어 한 B2B SaaS 운영팀이 “고객 문의를 분류해 표준 답변을 자동 발송하는 에이전트”를 제안한다. 같은 제안서가 두 방식으로 승인 테이블에 오른다.
Before — 기능으로 판정. “분류하고 답변 초안을 만드는 L2, 승인 큐도 있다니 통과”로 끝낸다. 외부 발송이라는 점, 되돌릴 수 없다는 점, 멈출 방법은 묻지 않는다. 한 분기 뒤 오분류 한 건이 잘못된 정책 안내로 외부에 나갔고 되돌릴 수 없었다. 알림은 쌓였으나 아무도 실시간으로 보지 않아 발견은 고객 항의 뒤. 리더의 보고는 “한 건이 사고가 됐습니다” — 왜 통제가 없었는지 설명할 수 없다.
After — 피해 반경으로 판정. 판정 흐름을 따른다. Q2 외부로 나가나? 예 — 고객 직접 발송(반경 확대). Q4 고객 영향? 예. → 위험 등급 High, HITL 필수. 승인 조건이 바뀐다: ①발송 전 승인 게이트(HITL) ②저위험 유형만 HOTL 자동 발송, 나머지는 승인 큐 ③kill switch·발송 로그, 잘못 나가면 즉시 전체 중단 ④실시간 알림이 담당자에게 닿는지 눌러 검증 후 운영. 한 분기 뒤 — 단순 유형은 자동(패스트트랙 가치 유지), 틀리면 아픈 유형은 사람이 승인한 것만 나간다. 오분류가 있어도 외부로 나가기 전에 걸렸다. 리더의 보고: “고위험은 사람 승인, 저위험은 자동, 멈춤 장치를 검증했습니다.” → 무엇을 통제하는지 한 문장으로 말할 수 있다.
| 구분 | Before (기능 판정) | After (반경 판정) |
|---|---|---|
| 판정 기준 | 분류·생성 기능 | 실행·외부·롤백·중단 |
| 레벨/등급 | L2로 일괄 | 유형별 분리(자동/HITL) |
| 외부 발송 | 전부 자동 | 고위험은 사람 승인 후 |
| 멈춤 장치 | 문서에만 | 검증된 kill switch |
| 사고 시 | 되돌릴 수 없음 | 외부로 나가기 전 차단 |
| 경영 보고 | “사고가 났다” | “통제 지점을 쥐고 있다” |
같은 제안, 같은 AI 역량. 갈린 지점은 단 하나 — 기능으로 봤는가, 피해 반경으로 봤는가다.
리더가 승인·요구할 신호
승인자에게는 통과·반려 기준, 실무자에게는 통과 체크리스트다. 거버넌스 세부는 17·18장에 있고, 여기서는 회의에서 한 문장으로 쓸 신호만 남긴다.
요구할 것 (없으면 검토 테이블에 올리지 않는다)
- 모든 자율 실행에 사람 개입 장치 — 승인 게이트(HITL) 또는 작동하는 감시·중단(HOTL). L2부터 kill switch·롤백·실시간 모니터링은 없으면 반려.
- 멈춤 장치가 실제로 작동하는지 검증한 증거. “감시한다”가 아니라 “눌러봤다”는 사실.
- 고위험(고객 권리·법적 효력·재무·인사·보안)은 강화 심의와 HITL. 멀티 에이전트는 권한 축소·확산 상한·비용 상한 세 신호.
- 운영 등록부 한 장 — 떠 있는 에이전트가 Owner·자율성·위험·kill switch·비용 상한·재승인일과 함께 한 장에 등록돼 있는가. 미등록 에이전트는 운영 금지.
반려할 것
- 외부 쓰기·외부 발송이 붙었는데 레벨을 낮춰 신고한 제안(“분류만 한다”로 위장한 고위험).
- 위장된 HOTL — 감시한다고 적었지만 알림이 닿지 않고 중단을 눌러본 적 없는 것.
- 롤백 불가능한 자동 변경, 사람이 즉시 멈출 수 없는 자동 실행.
- 데이터·권한·시크릿 정비 없이 자율성부터 얹은 제안.
- 법적 효력 있는 최종 판단, 인사 채용·징계·평가의 무인 결정, 승인 없는 재무 집행 — 레벨과 무관하게 금지선.
승인할 것
- 기능이 아니라 피해 반경으로 판정한 자율성 레벨. “틀리면 어디까지 번지고, 되돌릴 수 있고, 멈출 수 있는가”에 답이 있는 제안.
- 저위험·고가치는 패스트트랙으로 빠르게. 내부에 머물고 되돌리기 쉬운 과제를 위원회 속도에 가두지 않는다.
- 위험 유형별로 사람의 자리가 다르게 설계된 제안(고위험 HITL, 저위험 반복 HOTL).
이 장의 요약
- 자율성 레벨은 기능이 아니라 책임 분류다. 더 똑똑한 AI가 아니라 더 큰 피해 반경이 레벨을 올린다. 네 축으로 판정한다 — 실행·외부 영향·되돌림·중단. ‘분류만 한다’는 말에 속지 마라(상향 트리거).
- 위험 등급(영향도×발생확률)에 따라 속도를 차등한다. 저위험·고가치는 패스트트랙, 고위험은 강화 심의. 둘을 한 통로에 섞지 않는다.
- 사람의 자리를 정하라 — 고위험은 HITL, 반복 운영은 HOTL. 감시는 선언이 아니라 작동하는 경로여야 한다.
- L2부터 승인 게이트·롤백·실시간 모니터링·kill switch는 없으면 반려. 멀티 에이전트는 권한 축소·확산 상한·비용 상한을 확인한다.
- 승인은 한 번이고 운영은 계속된다. 운영 등록부 한 장으로 떠 있는 에이전트를 추적한다 — 미등록은 운영 금지, 재승인일 경과 시 자동 재심의.
- 리더가 쥐는 것은 두 개의 결정 — 어떤 레벨을 승인하고, 어떤 개입 권한을 요구하는가. 나머지는 위임한다(18장).