AI 검색, 유료 버전이 더 자주 틀린다 — 인용 정확도 리포트
"AI 검색 엔진 하나만 정착하고 싶다. 뭘 쓰면 되나?"
이 질문에 대한 내 답은 한동안 애매했다. 셋 다 써보고, 인용이 잘 붙는 쪽을 대충 골라 쓰는 식이었다. 그런데 최근 독립 테스트 데이터를 접하고 나서 이 질문 자체가 잘못됐다는 걸 알게 됐다. 어떤 도구를 고르냐 이전에, 모든 AI 검색이 인용에서 자주 틀린다는 전제에서 출발해야 한다.
37% vs 67% — 숫자의 정체
결론부터. 컬럼비아 저널리즘 대학의 Tow Center for Digital Journalism이 2025년 발표한 연구가 현재까지 가장 엄격한 공개 데이터다. 이 테스트는 방식이 단순해서 오히려 신뢰가 간다. 실제 뉴스 기사에서 발췌문을 뽑아 8개 AI 검색 도구에 주고, "이 문장의 원출처가 어디냐"를 맞히게 했다. 총 1,600개 쿼리.
결과는 이랬다.
- Perplexity: 37% 오류 — 8개 도구 중 최선. 그런데 잘 읽어야 한다. 세 번 중 한 번 이상은 여전히 틀린다는 뜻이다.
- ChatGPT Search: 67% 오류 — 세 번에 두 번 꼴로 출처를 잘못 특정했다.
- Grok-3 Search: 94% 오류 — 테스트된 도구 중 최악.
- 8개 도구 평균: 60% 초과 오류
평균이 60%를 넘는다는 건, 이것이 특정 회사의 실수가 아니라 AI 검색이라는 제품 범주의 구조적 문제라는 뜻이다. 실제로 Tow Center의 선행 연구(2024)에서 ChatGPT는 200개 인용 중 153개를 오귀속했다. 모델이 바뀌어도 패턴이 이어진다.
왜 이런 일이 생기는가. AI 검색은 문서를 검색해 그 내용을 요약·재구성해 답한다. 이 과정에서 "이 문장이 어떤 문서에서 왔는지"를 추적하는 일은 생각보다 어렵다. 비슷한 내용의 기사가 여러 개일 때, 모델은 내용이 가장 비슷한 출처를 가리키지 원래 출처를 가리키지 못한다. 사람 기자도 종종 겪는 일을 모델은 훨씬 자주 겪는다.
반전: 돈을 더 내면 '자신감'을 산다
이 연구에서 가장 흥미로웠던 건 오류율 순위가 아니라 그 옆에 있던 데이터다. 유료 버전이 무료 버전보다 오답률이 높았다.
Perplexity Pro와 Grok-3의 유료 버전이 그랬다. 원인을 파고들니 이렇게 풀린다.
- 유료 버전은 더 많은 질문에 "확정 답변"을 내놓았다
- 무료 버전은 모르는 질문에 "확인할 수 없다"고 더 자주 인정했다
- 결과적으로 유료 버전은 답변 커버리지는 높은데 오답도 같이 늘었다
즉, 월 이십 달러를 내면 정확성이 아니라 단호함을 사는 셈이다. 유료 고객은 빠르고 명확한 답을 기대하고, 제품은 그 기대에 부응하도록 설계된다. "모르겠습니다"가 적어지는 방향으로.
이건 AI 검색만의 문제가 아니다. 내가 매일 쓰는 코딩 에이전트도 같은 구석이 있다. 프리티어 모델은 없는 API를 "없다"고 말하는데, 상위 모델은 그럴듯한 시그니처를 지어낸다. 자신감과 정확성은 별개의 축인데, 제품은 자신감 쪽을 최적화하기 쉽다. 자신감은 당장 체감되지만 정확성은 나중에 발각되니까.
세 도구는 사실 다른 제품이다
숫자만 보면 "Perplexity 쓰면 되겠네"로 끝나지만, 실제 셋은 설계부터 다르다.
Perplexity는 검색과 인용을 중심으로 처음부터 설계된 독립 답변 엔진이다. 모든 답변에 번호가 붙은 인라인 인용과 출처 패널이 따라온다. 자체 모델 하나를 훈련하는 대신 Claude, GPT, Gemini, Grok 같은 서드파티 모델을 라우팅해서, 유료 사용자는 어떤 모델이 답할지 고를 수 있다. 인용이 제품의 핵심이라는 설계 철학이 오류율 최선(그래도 37%)과 무관하지 않아 보인다.
ChatGPT Search는 챗봇에 붙인 검색 모드다. 별도 제품이 아니라 같은 대화 창에서 "현재 정보가 필요한 질문"을 하면 웹을 뒤져 인용을 붙이는 방식이다. 이중 구조는 일상에서 쓰기엔 편하지만, 순수 검색 도구로 벤치마크하긴 애초에 어렵다. 원고 작성·디버깅·검색이 한 스레드에서 오가니까.
Google AI Mode는 구글 검색 위에 얹힌 대화 레이어다. 검색 결과 페이지 상단에 요약을 띄우는 AI Overviews와는 별개의 대화형 인터페이스다. 구글의 웹 인덱스를 그대로 쓰니 커버리지와 신선도, 특히 로컬·쇼핑 쿼리에서는 둘을 따라올 수 없다. 다만 어느 Gemini 버전이 실제로 답하는지는 구글 자체 페이지들 사이에서도 서로 다르게 적혀 있다.
리뷰어들의 평가가 갈리는 것도 그래서다. PCMag 테스터들은 일상 유용성과 폭을 기준으로 Google AI Mode를 1위로 놓았고, Zapier를 비롯한 리서치 중심 리뷰어들은 인용 완결성 기준으로 Perplexity를 1위로 놓았다. 둘 다 틀린 게 아니다. 단일 최강 AI 검색은 없고, 용도별 최적만 있다.
왜 인용 오류는 사라지지 않는가 — 구조적 원인
테스트 수치를 좀 더 파고들면, 오류의 양상이 단순한 "몰라서 틀림"이 아니라는 게 보인다. Tow Center 테스트에서 모델이 틀릴 때 보인 대표 패턴을 정리하면 이렇다.
첫째, 유사 문서 혼동이다. 핫이슈에는 같은 소식을 다루는 기사가 수십 개 존재한다. 모델은 발췌문과 내용이 가장 유사한 문서를 "원출처"로 제시한다. 내용 기준 유사도와 출처 기준 정답은 다른 문제인데, 검색-생성 구조는 전자만 본다.
둘째, 통합 과정에서의 출처 상실이다. 여러 문서에서 문장을 가져와 섞으면, 문장 단위의 출처 추적이 흐려진다. 사람이 요약문을 쓸 때 각 문장에 각주를 다는 것과 같은 이유로, 생성 모델에게 이건 본래 어려운 일이다.
셋째, 빈칸 채우기 성향이다. 출처를 모르면 공백으로 두는 대신, 그럴듯한 후보를 지목하는 경향이 관찰됐다. 앞서 본 유료 버전의 "자신감" 문제와 같은 뿌리다. 오답의 상당수는 불확실함의 표현이 아니라 불확실함의 은폐 형태로 나타난다.
이 세 가지는 모델 크기나 버전이 올라간다고 자동으로 해결되는 성질의 것이 아니다. 검색-생성이라는 아키텍처가 있는 한 따라오는 비용이다. 그래서 이 문제에 대한 내 자세는 "곧 좋아지겠지"가 아니라 "잘못된 전제로 이식되지 않게 막는 것" 쪽이다.
이 데이터를 접하고 내가 제일 먼저 든 생각은 뜻밖에도 도구 이야기가 아니었다. AI 성능은 비용이 아니라 어떻게 쓰는냐에 따라 달라진다는 것이었다. 월 이십 달러짜리가 무료보다 자주 틀린다는 결과는, 돈을 더 쓴다고 좋은 답이 되는 게 아니라 쓰는 방식이 답을 만든다는 뜻이다. 어떤 질문을 던지고, 답을 어디까지 믿을지 스스로 경계를 긋는 능력이 구독 등급보다 결과를 좌우한다.
그래서 이 테스트를 보고 난 내 사용 패턴을 점검해 봤다. 나는 제미나이를 갤럭시와 연결해 놓고 편하게 쓰는 편이다. 그런데 인용이 중요한 정보는 한 번 더 네이버 검색이나 다른 도구를 통해 확인하는 버릇이 이미 있다. 이 글의 원칙들을 특별하게 새로 만든 게 아니라, 내가 이미 하던 행동에 근거가 붙은 셈이다.
다만 솔직히 고백할 부분도 있다. 내가 아는 분야면 검증이 가능한데, 모르는 분야는 그냥 믿어버린다. 이게 이 데이터를 대할 때 가장 찝찝한 지점이다. 인용 오류율 37%가 내겐 실감 나는 숫자인 이유다. 검증 능력이 있는 영역에서만 검증이 돌아가고, 그럴 능력이 없는 영역 — 그러니까 내가 궁금해하는 새로운 영역일수록 — AI 답변은 그대로 내 지식이 된다. 전문가의 반론이 있는지조차 모르는 상태로.
이 비대칭이 이 글을 쓰면서 오래 남은 문제다. 아는 만큼만 검증할 수 있다면, 모르는 만큼 노출된다는 뜻이니까. 완벽한 해법은 없지만 나는 두 가지로라도 좁히기로 했다. 모르는 분야의 정보는 특히 출처를 직접 열어보는 것, 그리고 중요한 판단에 쓸 정보라면 아는 사람이나 다른 매체를 통해 한 번 더 걸러보는 것이다.
실전 원칙 — 내 워크플로우에 적용하기
이 데이터를 보고 나서 내 검증 워크플로우를 정리했다. 블로그 원고를 쓰거나 투자 뉴스를 조회할 때 쓰는 원칙이다.
첫째, AI 검색은 '입수 경로'지 '출처'가 아니다. 인용 링크가 붙어 있으면 반드시 직접 연다. 링크가 실제로 열리는 것(200 응답)과 그 페이지가 주장을 실제로 뒷받침하는 것은 별개의 검사다. 이 두 개를 하나로 묶어 생각하는 순간 37%의 오류가 내 글로 이식된다.
둘째, 인용이 중요한 작업일수록 Perplexity로 시작한다. 최선의 오류율을 기록한 도구라도 그렇다는 뜻이지, 믿을 수 있다는 뜻이 아니다. 순서의 문제지 신뢰의 문제가 아니다.
셋째, 답변이 단호할수록 의심한다. 유료 버전 역전 데이터가 주는 교훈이다. "확실합니다"라는 어조는 모델의 확신이 아니라 제품의 설계 목표일 수 있다. 애매하게 답하는 도구가 오히려 정직할 때가 있다.
넷째, 비슷한 내용의 기사가 많은 주제는 특히 조심한다. 인용 오류의 주된 패턴이 '내용이 비슷한 다른 기사를 가리키는 것'이기 때문이다. 핫이슈일수록 겹치는 기사가 많고, 겹치는 기사가 많을수록 원출처 추적이 어려워진다.
다섯째, 원출처와 2차 보도를 구분한다. 내가 블로그 원고를 쓸 때 적용하는 규칙과 같다. AI 검색이 인용한 링크가 2차 보도일 수 있다. 그 2차 보도가 원 논문·공식 발표·원문 보도를 가리키는지 한 단계 더 거슬러 올라가는 습관이 필요하다. 이 글을 쓸 때도 그 원칙을 적용했다. Tech Insider의 비교 기사를 먼저 읽고, 거기서 인용한 Tow Center 연구와 GEO Toolbox 정리를 별도로 확인했다. 이 글의 참고자료에 둘을 모두 남기는 이유다.
도구를 고르는 기준이 바뀐다
이 데이터를 알고 나면 도구 선택 질문도 달라진다. "뭘 쓸까"가 아니라 "이 작업에서 인용 오류 치명도가 얼마인가"가 먼저다.
- 인용 오류가 치명적인 작업: 블로그 팩트체크, 투자 판단의 근거 뉴스 확인, 타인에게 전달하는 정보. 이때는 Perplexity로 시작하되 인용 전수 확인.
- 탐색·브레인스토밍: 어디서 시작할지 감을 잡는 단계. 이때는 어떤 도구든 편한 대로. 오류가 있어도 다음 단계에서 걸러진다.
- 신선도·로컬 정보: Google AI Mode의 색인이 우위. 당일 정보일수록 구글 쪽 커버리지가 실질적 차이를 만든다.
- 작업 흐름 안의 검색: ChatGPT Search처럼 대화 안에서 끝나는 검색은 문맥 유지에 유리하다. 대신 인용은 더 조심한다.
즉legation 하나로 쓰다가도, 용도에 따라 갈아타는 게 합리적이다. 이 글의 제목처럼 "유료 버전이 더 자주 틀린다"는 사실은 도구의 등급이 아니라 검증의 강도를 정하는 입력값일 뿐이다.
남는 질문
이 테스트는 2025년에 진행됐고, 이후 세 회사 모두 새 모델을 내놨다. 비슷한 규모의 독립 재테스트는 아직 없다. 그러니 이 숫자들은 "현재의 정확한 오류율"이 아니라 "구조적 문제의 존재를 보여준 증거"로 읽는 게 맞다. 모델이 좋아지면 수치는 줄어들겠지만, 검색-생성 패턴 자체의 한계는 남을 가능성이 높다.
결국 질문은 "어떤 AI 검색을 믿을까"가 아니라 "AI 검색을 어디까지 믿지 않을까"로 바뀐다. 내 답은 이렇다. 탐색은 맡기고, 확인은 가져온다. 그 경계선을 긋는 게 AI 시대의 검색 리터러시다.