무책임한 AI — 알고리즘에는 눈치가 없다: 독서 중 메모
지금 읽고 있는 책에 대한 중간 기록이다. 완독 서평이 아니라, 읽으면서 멈춰서 생각한 지점을 적는다. 결론부터 말하면 이 책의 core claims는 2019년에 나온 책이지만 지금 읽으면 더 날카로워진다. 당시에는 '머신러닝이 사회에 들어오는 중'이었고, 지금은 이미 들어와서 매일 판단을 대신하고 있다.
이 책이 출발하는 질문
카타리나 츠바이크는 독일의 데이터 과학자이자 윤리적 AI 연구자다. 이 책의 독일어 원제는 "Ein Algorithmus hat kein Taktgefühl"이다. 직역하면 "알고리즘에는 눈치가 없다"는 뜻이다. Taktgefühl은 상황에 맞게 행동을 조절하는 감각, 한국어로 치면 '눈치' 또는 '분위기 파악'에 가깝다.
저자가 인터뷰에서 반복해서 말하는 요지는 이렇다. 알고리즘에 눈치가 없는 이유는, 어느 컨텍스트에서 어떤 규칙이 적용되는지 가르쳐 주기가 매우 어렵기 때문이라는 것이다. 사람은 아이 때부터 "이 상황에서는 이 규칙, 저 상황에서는 예외"를 배운다. 기계는 그게 안 된다.
이 문장 하나가 책 전체를 관통한다. 그리고 이 문제는 기술이 발전하면 해결되는 종류가 아니라는 점이 이 책의 주장이다.
'기계의 판단은 객관적이다'라는 믿음
우리는 흔히 기계의 판단을 객관적이고 편견 없다고 믿는다. 사람은 피곤하고, 편향되어 있고, 아는 사람에게 후할 수 있다. 기계는 그렇지 않으니 공정하다고.
츠바이크는 이 믿음을 정면으로 부순다. 출판사와 서점, 도서관 서지 소개에 나오는 사례만 정리해도:
- 애플카드 성차별 신용한도 사건: 같은 재산 상태의 부부인데 남편에게 더 높은 신용한도를 줬다는 사례. 원인은 모델 자체가 여성을 차별하도록 설계된 게 아니라, 학습 데이터에 담긴 과거의 편향이 그대로 이어진 것이다.
- 자율주행차 사고: 센서가 인식하지 못한 상황에서 인간이 개입할 시간 자체가 없는 구조의 문제.
- 플랫폼 계정 정지: 온라인 플랫폼에서 알고리즘이 일방적으로 계정을 정지하고, 사용자는 "왜 정지됐는지"조차 알 수 없는 상태로 항의할 창구를 찾지 못하는 고통.
공통점이 있다. 오류가 나면 누구의 책임인지 특정할 수 없다는 것. 개발자는 "데이터가 그랬다"라고 하고, 데이터를 만든 곳은 "과거 기록일 뿐"이라고 하고, 서비스를 운영하는 곳은 "시스템이 그렇게 판단했다"고 한다. 이 구조가 '무책임'이라는 제목의 핵심이다.
머신러닝은 '수작업'이다
책에서 개인적으로 오래 곱씹은 대목은 머신러닝의 실상에 대한 설명이다. 흔히 가치중립적인 기계 규칙이라고 생각하는 머신러닝 알고리즘이 실제로는:
- 어떤 변수를 넣고 뺄지 사람이 정한다
- 데이터를 어떻게 정리하고 라벨링할지 사람이 정한다
- 무엇을 최적화 목표로 삼을지 사람이 정한다
- 오류를 어떻게 처리할지 사람이 정한다
즉, 객관적이라 믿었던 '데이터'와 '모델' 사이에 수많은 인간의 선택이 끼어 있다. 정확하고 공정해 보이는 결과물은 결국 인간이 조절한 변수들의 산물이다. 이건 비판이 아니라 머신러닝의 작동 방식 그 자체라는 게 저자의 설명이다.
22장: 기계는 의사결정에서 인간보다 나은 점이 있다
여기까지 쓰고 나면 이 책이 기계 깎는 책처럼 읽힐 수 있다. 그런서가 아니라. 22장에서 저자는 정면으로 기계 의사결정의 장점을 적는다. 비판의 균형점을 잡는 장이자, 이 책에서 가장 실용적인 부분이다.
22.1 더 많은 데이터 처리. 기계는 인간이 평생 볼 수 없는 양의 데이터를 훑는다. 다만 저자는 이것이 사소해 보이지만 문제를 만들어낼 수 있다고 바로 단서를 붙인다. 데이터가 많다는 것과 판단이 좋아지는 것은 별개다.
22.2 더 복잡한 패턴 발견. 인간은 원인과 결과가 시간적으로 가까울 때는 인과관계를 잘 찾지만, 지연되거나 여러 요인이 겹치면 못 찾는다. 도르너의 《실패의 논리》를 인용하는 대목이다. 기계는 통계적으로 이런 복잡한 패턴을 다룰 수 있다.
22.3 더 미묘한 패턴 인식. 예: 자동차 소유 여부가 대출 상환 가능성을 1%라도 높인다면 기계는 이를 변별한다. 인간 심사관은 그 변수를 애초에 고려하지 않는다. 단, 미묘한 패턴을 찾다 보면 훈련 데이터에서 우연히 여러 번 등장한 것을 실재 패턴으로 잘못 인식하기도 한다. 저자가 드는 예가 흥미롭다. 아이가 고양이를 “이리와, 귀여워!”라는 말과 함께 접하더니 고양이 이름이 '귀여워'인 줄 알고 불렀다는 것. 과적합의 일상 버전이다.
22.4 더 빠른 개선. 인간 조직은 명백한 오류가 확인돼도 전파가 느리다. 소프트웨어는 오류를 인지하면 재프로그래밍으로 대규모·신속하게 수정된다.
22.5 분석 가능성. 기계의 결정은 디지털 기록으로 남아 분석 가능하다. 반면 인간의 결정(예: 독일 판결문)은 법적·형식적 제약으로 분석이 어렵다.
22.6 더 많은 피드백. 머신러닝은 과거 사례-결과 쌍으로 학습한다. 그런데 이상한 점 — 대부분의 직업에는 체계적 피드백이 없다. 저자 자신도 가르친 학생이 후에 잘 살고 있는지 들을 수 없다고 한다. 기계에만 피드백을 주고 인간에게 주지 않는 구조 자체가 왜곡이라는 것.
내가 제일 오래 생각한 대목 — 피드백의 비대칭
22장 여덟 가지 중에서 내가 가장 오래 곱씹은 건 22.6이다. 인간은 피드백이 없는데 기계만 피드백을 받는 구조라는 지적. 이걸 읽는 순간 내 작업이 떠올랐다. 나는 매일 AI 도구를 쓰는데, 그 도구들은 내 사용 로그로 계속 좋아진다. 반면 나 자신의 판단은 어떤가. 내가 쓴 답변이 나중에 어떻게 됐는지, 내가 내린 판단이 맞았는지 체계적으로 돌아보는 루프는 훨씬 약하다. 학습 속도의 격차가 벌어질 수밖에 없는 구조다.
그래서 요즘은 두 가지를 의식적으로 한다. 하나는 내 판단의 결과를 기록으로 남기는 것 — 이 독서 메모도 그 일환이다. 책을 읽으며 생각한 지점을 남겨두면 나중에 얼마나 맞았는지 확인할 수 있다. 다른 하나는 AI의 답을 쓰고 나서 내 예상과 달랐던 부분을 따로 표시하는 것이다. 그 차이가 내가 놓친 것이고, 그게 나의 피드백이 된다. 기계에게만 피드백을 몰아주지 않으려면, 의식적으로라도 인간 쪽 루프를 만들어야 한다는 게 이 장을 읽고 얻은 결론이다.
22.7 노이즈 제거. 카너먼 외의 《노이즈》를 인용한다. 동일한 사안에 대한 보험 직원들의 산정이 평균 ±55%까지 갈렸다는 연구 — 인간 결정의 랜덤한 분산(noise)은 통계 모델이 줄일 수 있다.
22.8 확장성의 양면. 기계 결정은 대량으로 이어진다. 인간의 노이즈는 제거했지만, 기계 특유의 새 노이즈가 그 자리를 채우지 않도록 연구와 절차가 필요하다는 게 장의 결론이다.
이 8가지를 다시 뒤집어 보면 이 책의 설계가 보인다. 기계의 장점을 정확히 인정해야, 그 장점이 컨텍스트 없는 판단이라는 한계와 만났을 때 어디서 사고가 나는지specific하게 지적할 수 있기 때문이다. “기계가 더 나은 결정을 내릴 수도 있다”와 “기계가 내리는 모든 결정이 안전하다”는 다른 문장이라는 것.
LLM을 매일 쓰는 사람이 다시 읽는 이유
이 책이 2019년에 나왔다는 점을 감안하면, 예측 모델(신용평가, 이미지 인식, 추천) 중심의 논의다. 그런데 지금 내가 매일 쓰는 도구는 생성형 AI다. 읽으면서 계속 이 시점을 겹쳐 봤다.
츠바이크가 문제 삼은 "어느 컨텍스트에서 어떤 규칙이 적용되는지 모른다"는 한계는, LLM에서는 형태만 바뀌었을 뿐 그대로 이어진다. LLM도 결국 통계적 패턴으로 다음 토큰을 고르는 시스템이고, 그 패턴 안에 어떤 규칙이 어떤 맥락에서 적용되어야 하는지에 대한 '눈치'는 없다. 프롬프트라는 형태로 컨텍스트를 사람이 계속 공급해야 하는 이유이기도 하다.
AI 에이전트가 사람 대신 결정을 내리는 범위가 넓어질수록, 이 책이 다룬 '책임 소재의 공백' 문제는 신용카드 한도를 넘어서 더 중요한 영역으로 확장된다. 오늘날 AI 도구를 조립해서 쓰는 입장에서 이 책의 사례들은 '남의 일'이 아니라 내 워크플로우의 입력과 출력을 점검하는 기준으로 쓸 수 있다:
- 모델이 내 대신 내린 판단을 나는 검증 가능한가
- 오류가 났을 때 원인을 데이터·프롬프트·모델 중 어디서 찾고 있는가
- '객관적이라서'라는 이유로 검증을 생략한 판단은 없는가
저자가 제안하는 대응: '책임 있는 설계'
츠바이크는 비관론자가 아니다. 그녀 자신이 알고리즘을 연구하는 데이터 과학자고, 책의 독일어 부제는 "인공지능이 어디서 잘못되는가, 왜 우리의 문제인가, 무엇을 할 수 있는가"다. 즉 진단에 이어 처방이 있다. 공개된 서평과 저자 인터뷰에서 일관되게 나오는 처방의 방향은 이렇다.
첫째, 알고리즘의 사용처를 구분하자는 것이다. 저자는 흔히 '결정 전 알고리즘(Decision Support)'과 '결정 대행 알고리즘'을 구분한다. 전자는 사람이 최종 판단을 내리기 전 정보를 정리해 주는 역할이고, 후자는 사람의 개입 없이 결과를 집행한다. 같은 오류율이라도 전자에서는 회복 가능하지만 후자에서는 누군가의 권리나 재산, 안전이 직접 침해된다. 자율주행차와 계정 정지가 후자의 사례다.
둘째, 검증 가능성을 설계 단계에 넣자는 것이다. 나중에 감사하겠다는 게 아니라, 처음부터 어떤 데이터로, 어떤 규칙으로, 어떤 기준으로 판단했는지 기록하고 공개할 수 있어야 한다는 주장이다. 이 부분은 유럽연합의 AI 규제 논의와도 맞닿아 있어서, 규제가 기술 발전의 반대편에 있는 게 아니라 신뢰의 조건이라는 시각으로 이어진다.
셋째, 가장 기본이면서 자주 무시되는 것 — 오류의 대가를 나누는 구조다. 알고리즘의 실수로 손해를 보는 사람과, 그 실수로 이득을 보는 사람이 갈리는 구조에서는 시장의 자기 교정이 작동하지 않는다. 오류의 비용을 시스템 운영자가 부담하게 만들어야 오류가 줄어든다는 것이다.
내 워크플로우에 대입해 보는 세 가지 점검
책을 읽으며 이런 저런 사례를 내 작업에 그대로 대입해 봤다. 나는 AI로 블로그 원고를 쓰고, 주식 브리핑을 만들고, 학습 자료를 정리한다. 어느 것도 사람의 권리를 직접 침해하는 시스템은 아니지만, '검증 없이 통과시키는 판단'이 늘어나는 구조는 같다.
첫째, 출처 확인의 이중화. 내 글쓰기 워크플로우에는 원자료 확인 규칙이 있다. URL이 열리는 것과 내용이 입증되는 것은 별개라는 규칙인데, 이 책의 논리를 그대로 따르면 "AI가 찾아 준 출처"는 학습 데이터의 편향을 그대로 물고 온다. 실제로 이 글을 준비하면서도 서지 정보를 서점·도서관·독일 언론 인터뷰로 교차 확인했는데, 교차 검증을 생략할 수 있었던 순간이 몇 번 있었음을 부정할 수 없다.
둘째, 자동화의 실패 조건 기록. 주식 시장 브리핑 자동화는 데이터 소스가 죽으면 대체 소스로 바뀌고, 그 사실이 기록으로 남는다. 그런데 왜 원 소스가 죽었는지, 대체 소스의 오차 범위는 얼마인지까지는 기록되지 않는다. 츠바이크 식으로 말하면 '실패를 관찰하는 창구'는 있지만 '실패의 원인을 추적하는 창구'가 없는 상태다.
셋째, 반복 사용으로 굳어지는 판단. 같은 프롬프트, 같은 워크플로우를 반복하면 효율은 올라가지만, 그 워크플로우가 놓치는 것도 반복해서 놓치게 된다. 편향이 한 번 끼어들면 그 이후 모든 결과에 스며든다는 게 이 책의 경고인데, 개인의 자동화 시스템에서도 똑같이 성립한다.
이 책을 읽을 만한 사람
읽는 중인 시점에서 추천 대상을 가늠해 본다.
- AI 도구를 매일 쓰지만 '왜 이런 답이 나오는지'를 검증하지 않는 사람 — 즉 대부분의 실전 활용자
- 회사나 조직에서 자동화·AI 도입을 검토하는 사람. 기술 선택 이전에 '실패 시 책임 구조'부터 설계해야 한다는 논거를 얻을 수 있다
- AI 낙관론·비관론 양쪽 다 피곤한 사람. 저자는 둘 다 아니고, 데이터 과학자로서 실무적으로 문제를 좁혀 가는 톤이라 균형 잡힌 관점을 얻기 좋다
반대로 이런 사람에게는 맞지 않을 수 있다. 최신 LLM 안전성 논쟁(환각, 정렬, 프론티어 모델 규제)을 직접 다루는 책이 아니기 때문이다. 이 책의 무대는 2019년의 예측 모델 세계고, LLM은 등장하지 않는다. 그 간극은 독자가 직접 연결해야 한다. 이 글에서 내가 한 것처럼.
읽는 중이라며 남기는 단서
이 글을 쓰는 시점에 나는 책을 읽는 중이다. 위의 정리는 확인 가능한 서지 정보와 공개된 서평·저자 인터뷰를 교차해서 맞춘 책의 핵심 주장에, 내가 읽으며 생각한 지점을 얹은 것이다. 책의 세부 논증 전체에 대한 평가는 완독 후 별도로 남긴다.
하나 확인이 필요한 부분도 있다. 국내에는 같은 저자의 번역서가 『무책임한 AI』(니케북스) 외에 관련 계열서가 더 나와 있는 것으로 보이는데, 원서와 번역서의 대응 관계는 완독하며 판권 페이지에서 확실히 확인할 계획이다.