언러닝과 리러닝이라는 말을 들으면 읽을 책과 강의 목록부터 만들기 쉽다. 내 업무 방식이 바뀐 시점은 실제 작업에 새 도구를 넣고 기존 결과와 비교했을 때였다. 예상과 다른 결과를 보고 어느 단계에서 차이가 생겼는지 설명하면서 익숙한 순서를 고쳤다.
리서치 보고서를 만들 때 나는 자료를 모은 뒤 개요와 문장을 순서대로 작성했다. AI를 사용하면서 초안 구조와 반례 후보를 먼저 받고 원문과 대조하는 흐름도 시험했다. 일부 자료는 사람이 처음부터 읽을 때 맥락을 잘 파악했고, 반복 표 정리는 AI가 시간을 줄였다. 기존 방식을 전부 폐기하지 않고 작업별 위치를 바꿨다.
바꿀 습관을 관찰 가능한 행동으로 쓴다
“AI를 잘 활용한다”는 목표로는 언러닝 여부를 확인할 수 없다. 현재 내가 하는 행동과 바꿀 행동을 적는다.
현재: 자료 20개를 모두 읽은 뒤 목차를 작성한다.
실험: 자료 5개를 읽고 목차 후보와 빈 근거를 AI로 찾는다.
유지: 핵심 수치와 결론은 원문에서 직접 확인한다.
측정: 전체 시간, 출처 오류, 목차 수정 횟수.
현재 행동을 비난하지 않는다. 어떤 조건에서 유용했는지 함께 적는다. 기존 방식이 규제 보고서의 정확성을 지켰다면 속도가 느리다는 이유로 버리지 않는다. 새 방식이 같은 정확성을 유지하는지 비교한다.
습관 하나를 선택하면 도구와 프롬프트를 동시에 여러 개 바꾸지 않는다. 변수 하나를 바꿔야 결과 차이의 원인을 설명할 수 있다.
30~60분짜리 실제 작업으로 시험한다
도구 문서는 가능한 기능을 알려 준다. 실제 업무는 실패 조건과 검토 비용을 보여 준다. 나는 다음 조건에 맞는 작업을 고른다.
30~60분 안에 기존 방식으로도 끝낼 수 있다.
정답, 이전 결과 또는 전문가 검토와 비교할 수 있다.
실패해도 고객과 외부 시스템에 영향이 없다.
내가 결과의 옳고 그름을 설명할 수 있다.
개인정보와 운영 자격증명이 필요하지 않다.
예시는 인터뷰 기록 3개의 주제 분류, 공개 보고서 표 한 개의 변환, 테스트가 있는 작은 함수 수정이다. 중요한 고객 보고서 전체와 운영 데이터 삭제를 첫 실험으로 사용하지 않는다.
실험 전에 예상 결과와 시간을 기록한다. 도구를 사용한 뒤에는 생성 시간과 검증 시간, 수정 횟수를 나눈다. AI가 초안을 10분 줄였지만 검증에 20분을 더 썼다면 업무 개선으로 기록하지 않는다.
기준선을 먼저 만든다
새 도구의 결과만 보면 빠르고 그럴듯하다는 인상에 끌린다. 기존 방식으로 만든 결과와 평가 기준을 준비한다.
| 평가 항목 | 기준선 | 새 방식 |
|---|---|---|
| 총 소요 시간 | 사람이 직접 처리한 시간 | 생성, 검증, 수정 합계 |
| 정확성 | 승인된 이전 결과 | 같은 검사와 전문가 검토 |
| 설명 가능성 | 근거를 찾는 데 걸린 시간 | 출처와 실행 로그 존재 여부 |
| 재현성 | 같은 입력의 결과 차이 | 모델·프롬프트·도구 버전 기록 |
| 복구 | 원본과 변경 이력 | diff와 백업 존재 여부 |
완전히 같은 조건을 만들 수 없는 지식 작업에서는 대표 사례와 오류 유형을 고정한다. 표본이 작다는 사실도 기록한다. 한 번 성공한 결과를 일반 규칙으로 확대하지 않는다.
실행 기록은 원인 가설까지 담는다
도구를 많이 사용해도 같은 오류를 반복하면 학습이 쌓이지 않는다. 매 실행 뒤 차이와 원인 가설을 남긴다.
예상: 인터뷰별 핵심 문제 2개를 원문 위치와 함께 추출
관찰: 문제는 맞지만 발언 위치 4개가 틀림
원인 가설: 요약본을 입력해 원문 줄 정보가 없음
다음 변경: 원문에 문단 ID를 붙여 입력
유지할 조건: 주제 태그 목록과 출력 JSON 형식
다음 실행에서는 문단 ID만 바꾼다. 모델과 프롬프트, 입력 파일을 함께 바꾸면 어떤 변경이 효과를 냈는지 알 수 없다. 결과가 좋아지지 않으면 원인 가설을 폐기한다.
반복 실패는 체크리스트와 validator로 옮긴다. 출처 위치 누락이 반복되면 필수 필드로 만들고 비어 있을 때 실행을 실패시킨다. 개인의 기억에만 둔 교훈은 새 세션에서 사라진다.
연구 결과를 업무 규칙으로 과장하지 않는다
Microsoft Research와 Carnegie Mellon 연구진은 생성형 AI를 업무에 사용하는 지식 노동자의 자기보고 사례를 분석했다. 연구에서는 AI에 대한 신뢰가 높을수록 비판적 사고에 들인 노력을 낮게 보고하는 경향이 있었고, 자신의 업무 능력에 대한 확신이 높을수록 비판적 사고 노력을 더 보고하는 경향이 나타났다.
이 연구는 참가자가 스스로 보고한 사례와 인식을 다룬다. AI 사용이 개인의 사고 능력을 떨어뜨린다는 인과관계를 증명하지 않는다. 업무 유형과 사용자 경험, 도구의 차이도 결과 해석에 영향을 준다.
나는 이 결과를 “AI가 사고를 없앤다”는 경고 문구로 사용하지 않는다. 도구 신뢰와 검증 행동의 관계를 스스로 확인할 질문으로 바꾼다.
결과가 유창해서 출처 확인을 생략했는가
내가 아는 분야와 모르는 분야의 검증 수준이 같은가
AI 제안을 거절한 횟수와 근거를 기록했는가
오류를 발견할 기준을 작업 전에 정했는가
완료 판단을 모델의 설명에 맡겼는가
검증 행동이 줄었다면 AI 사용 시간을 줄이는 선택과 검사 장치를 추가하는 선택을 비교한다. 작업 위험이 크면 사람 검토를 강화하고 도구 권한을 제한한다.
AI를 반례 생성과 설명 검사에 쓴다
학습 작업에서는 내가 먼저 가설과 초안을 작성한다. 그다음 AI에 반례와 빠진 전제를 요청한다.
- 내가 문제 정의와 예상 답을 적는다.
- AI가 반대 사례와 경계 조건을 제시한다.
- 원문과 데이터, 실행 결과로 각 주장을 확인한다.
- 확인한 차이를 내 문장으로 설명한다.
- 다음 작업에 사용할 규칙을 저장한다.
AI가 만든 반례도 사실로 간주하지 않는다. 출처를 확인하고 문제 조건에 적용되는지 본다. 내가 설명할 수 없는 코드는 작은 단위로 나눠 실행하고, 각 함수의 입력과 출력을 직접 확인한다.
마지막 설명을 내 문장으로 쓰면 이해의 빈칸이 드러난다. 용어를 반복하지만 원리를 설명하지 못하는 부분은 문서와 예제로 돌아간다. AI에게 다시 쉽게 설명해 달라고 요청하는 것만으로 빈칸이 채워졌다고 기록하지 않는다.
직접 처리할 표본을 남긴다
새 도메인에서는 원자료 일부를 사람이 처리한다. 인터뷰 20개를 자동 분류한다면 먼저 3개를 직접 태깅하고 모델 결과와 비교한다. 데이터 변환은 몇 행을 손으로 계산해 합계와 단위를 확인한다.
익숙한 분야에서도 다음 작업은 직접 본다.
- 최종 결론을 지지하는 원문과 표
- 개인정보와 권한에 영향을 주는 입력
- 예외 처리와 삭제 경로
- 고객에게 약속하는 성능과 범위
- AI 결과와 충돌한 사례
직접 처리 비율을 고정하지 않는다. 오류율과 작업 위험에 따라 늘리거나 줄인다. 새 모델과 도구 버전을 적용하면 표본 검사를 다시 수행한다.
한 달 단위로 업무 순서를 갱신한다
실험 하나로 습관을 바꾸지 않는다. 한 달 동안 같은 유형의 작업에서 기록을 모은다.
유지한 기존 단계
AI로 옮긴 단계
새로 생긴 검증 단계
사라진 오류와 새로 생긴 오류
절약한 시간과 늘어난 비용
직접 판단에 쓴 시간
다음 달에 폐기할 규칙
새 방식이 안정되면 표준 작업 절차와 템플릿을 고친다. 팀이 있다면 결과와 실패 사례를 공유하고 다른 사람이 같은 입력으로 재현하게 한다. 개인에게만 통하는 프롬프트를 조직 규칙으로 만들지 않는다.
기존 방식이 더 나은 구간도 기록한다. 원문 전체의 논리 흐름을 이해해야 하는 작업과 민감한 인터뷰는 사람이 먼저 읽을 수 있다. 언러닝은 최신 도구가 과거 절차를 모두 대체한다는 선언이 아니다. 현재 환경에서 각 단계의 위치를 증거로 다시 정하는 과정이다.
나는 작은 실제 작업에서 기준선을 만들고 변수 하나를 바꾼다. 결과 차이와 검증 비용을 설명한 뒤 반복 가능한 교훈만 규칙으로 남긴다. 이 루프가 공부한 내용을 업무 습관으로 바꿔 주었다.