검증 가능한 AI 워크플로우

학습 시간: 50분

목표: AI가 만든 초안을 원자료와 검토 기준으로 확인하고, 필요한 경우에만 다른 도구의 관점을 추가합니다.

여러 모델이 같은 답을 해도 근거가 되지는 않습니다

서로 다른 AI가 같은 수치나 결론을 말해도 그 사실이 맞다는 뜻은 아닙니다. 같은 공개 정보를 잘못 해석했거나, 서로의 답변을 근거로 삼았을 수 있습니다. 최신 시장 수치, 법률, 계약, 가격처럼 오류의 비용이 큰 정보는 모델의 합의가 아니라 공식 원자료로 확인해야 합니다.

여러 도구를 쓰는 목적은 ‘가장 강한 모델’을 찾는 데 있지 않습니다. 초안 작성, 누락·모순 찾기, 원자료 대조, 최종 승인처럼 사람이 수행할 일을 분명히 하는 데 있습니다.

시작하기 전에 정할 것

Anthropic은 프롬프트를 고치기 전에 성공 기준과 시험 방법을 먼저 세우라고 안내합니다. OpenAI도 제품 기능의 프롬프트 변경에는 대표 입력값, 테스트, 평가를 함께 두라고 권합니다.

항목	확인 질문
목적	이 결과로 누가 어떤 결정을 내리나?
원자료	어떤 링크·문서·데이터만 근거로 쓸 수 있나?
허용 범위	추정, 해석, 제안 중 어디까지 가능한가?
검토 기준	사실, 계산, 정책, 개인정보 중 무엇을 확인하나?
승인자	누가 발행·전송·배포를 허용하나?

기본 흐름

원자료 수집 → AI 초안 → 근거·누락 검토 → 사람의 최종 승인 → 기록 보관

각 단계의 입력과 출력을 남기면, 모델이나 제품이 바뀌어도 같은 품질 기준으로 다시 실행할 수 있습니다. 다른 AI를 추가할 때도 역할은 ‘사실 판정’이 아니라 초안의 빈틈을 찾는 보조 검토로 제한하세요.

실습: Agent Lab 강의 최신화

현재 배포된 Agent Lab 강의 한 편을 예시로 삼습니다. 임의의 시장 수치나 실제 업체 정보를 만들지 않고, 공개된 공식 문서와 저장소 원문만 사용합니다.

1. 원자료 목록 만들기

- 원문: src/content/courses/ai-for-work/tools-chatgpt.md
- 제품 문서: OpenAI Academy Prompting, OpenAI API Prompt Engineering
- 확인 날짜: 2026-08-24
- 확인할 주장: 기능, 모델명, 가격, 사용 절차, 외부 링크

2. 초안 요청하기

아래 원문을 최신화할 초안을 작성해 줘.

규칙
- 제공한 공식 문서에 있는 내용만 사실로 쓴다.
- 확인하지 못한 기능·가격·모델명은 추정하지 말고 “공식 문서에서 확인”으로 남긴다.
- 바뀐 주장마다 근거 URL을 적는다.
- 가상 사례와 실제 사례를 구분한다.

산출물
1. 유지할 내용
2. 삭제하거나 고쳐야 할 내용
3. 개정 본문
4. 사람이 확인할 항목

3. 검토 요청하기

초안과 원자료를 함께 주고 다음을 확인합니다.

이 초안에서 원자료가 뒷받침하지 않는 문장을 찾아줘.

검토 기준
- 수치·날짜·가격·모델명이 출처에 있는가?
- 링크가 공식 도메인인가?
- 예시가 실제 사실처럼 읽히지 않는가?
- 독자가 직접 확인하거나 다음 행동을 할 수 있는가?

문제마다 원문 문장, 문제 유형, 수정 방향만 표로 정리해 줘.

4. 사람이 결정하고 기록하기

AI의 검토 결과는 제안일 뿐입니다. 원자료를 직접 열어 확인한 뒤, 수정·보류·삭제 중 하나를 결정합니다. 발행한 뒤에는 검토 날짜와 공식 링크를 본문 또는 페이지의 참고 자료에 남깁니다.

다른 모델이나 도구를 추가할 때

아래 조건이 있을 때만 추가 검토를 고려하세요.

• 문서가 길어 핵심 주장과 출처를 따로 추출해야 할 때
• 서로 다른 관점의 반론이나 누락 점검이 필요한 때
• 정해 둔 테스트 입력에서 결과가 계속 불안정할 때

민감한 정보는 여러 도구에 반복해 넣지 않습니다. 계약·세무·법률·의료처럼 전문 판단이 필요한 내용도 AI 검토만으로 확정하지 않습니다.

완료 체크리스트

• 결과물의 성공 기준과 승인자를 정했다.
• 사용 가능한 원자료와 확인 날짜를 기록했다.
• AI 초안의 주장과 원자료를 대조했다.
• 다른 AI의 답변을 사실의 근거로 쓰지 않았다.
• 예시 데이터와 실제 정보를 구분했다.
• 발행·전송 전 사람이 최종 승인했다.