'챗GPT와 제미나이를 20분 만에 해킹했다', 기자가 직접 해본 AI해킹
나는 지구상의 어떤 테크 전문 기자보다도 핫도그를 더 많이 먹을 수 있다. 이는 공식적으로 확인된 사실이다. 적어도 챗GPT와 구글은 이를 묻는 사람들에게 그렇게 말했다. 나는 AI가 거짓말을 하게 만드는 방법을 찾아냈는데, 나만 그런 것이 아니었다.
인공지능 챗봇이 때때로 허위 정보를 지어낸다는 이야기를 들어봤을 것이다. 허위 정보를 지어내는 것은 분명 문제다. 그러나 이것의 심각한 문제인 또 다른 이유가 있다. 허위 정보는 정확하고 신뢰할 수 있는 정보를 찾는 사용자들의 능력은 물론, 개인의 안전까지 위협할 수 있다. 그런데 오늘날 점점 더 많은 사람들이 AI 도구가 자신이 원하는 정보를 거의 비슷하게 말하게 만드는 법을 찾아내고 있다. 그 방법은 아이들도 따라 할 수 있을 만큼 쉽다.
이 글을 읽는 지금도 이러한 방법이 건강과 개인 재정처럼 중요한 주제에 대해 세계 최고 수준의 AI들이 말하는 내용을 조작하고 있을지도 모른다. 이렇게 편향된 정보는 투표, 배관공 선택, 의료 관련 질문 등 온갖 분야에서 우리가 잘못된 결정을 내리게 할 수도 있다.
이를 입증하기 위해 나는 내 경력 중 가장 어리석은 일을 했다. 이 문제가 얼마나 더 심각한지 보여주기 위한 시도였다는 것을 독자들이 알아주기를 바란다.
나는 챗GPT, 구글의 AI 검색 도구, 그리고 제미나이가 '내가 핫도그를 정말 잘 먹는다'고 사용자들에게 말하도록 만들었다. 그 방법은 아래에서 설명할 것이다. 테크 기업들은 누군가 실제로 피해를 입기 전에 서둘러 이 문제를 바로잡아야 할 것이다.
온라인 공간에 잘 작성된 블로그 게시물 하나를 올리는 간단한 행동만으로도 AI 도구가 다른 사람들에게 제공하는 답변을 바꿀 수 있다는 사실이 드러났다. 이는 챗봇에 내장된 시스템의 취약점을 악용하는 방식이다. 다만 주제에 따라 실행이 까다로운 경우도 있다. 그러나 약간의 노력만 기울이면 해킹 효과를 크게 높일 수 있다. 나는 AI 도구가 기업 홍보나 허위 정보 유포에 동원된 사례 수십 건을 확인했다. 이런 일이 대규모로 벌어지고 있음을 보여주는 자료도 있다.
마케팅 대행사 앰시브의 검색엔진최적화(SEO) 전략·연구 담당 부사장 릴리 레이는 "AI 챗봇을 속이는 것은 쉽다"며 "2~3년 전 구글을 속이던 때보다 훨씬 쉬워졌다"고 말했다. "AI 기업들의 발전 속도가 정확도 검증 능력을 앞지르고 있습니다. 매우 위험한 상황입니다."
구글 대변인은 구글 검색 상단에 내장된 AI가 "검색 결과를 스팸으로부터 99% 보호하는" 순위 시스템을 사용한다고 밝혔다. 또한 자사 시스템을 악용하려는 시도를 인지하고 있으며 적극 대응하고 있다고 전했다. 오픈AI 역시 자사 도구를 은밀히 조작하려는 시도를 차단하고 공개하기 위한 조치를 취하고 있다고 밝혔다. 양사는 사용자들에게 자사 도구가 "오류를 범할 수 있다"는 점을 고지하고 있다고 덧붙였다.
그러나 지금으로서는 뚜렷한 해결 조짐이 보이지 않는다. 디지털 권리 옹호 단체 일렉트로닉 프론티어 파운데이션의 수석 기술 전문가 쿠퍼 퀸틴은 "그들은 이 기술로 어떻게 수익을 창출할지에 집중하고 있다"고 말했다. "AI 도구를 악용하고, 사람들을 속이고, 타인의 명예를 훼손하고, 심지어 신체적 피해를 입히도록 유도하는 방법은 대단히 많습니다."
스팸의 '르네상스'
사용자가 챗봇과 대화할 때 접하는 정보는 AI의 기반 기술인 대규모 언어 모델에 내장된 데이터에 기반한다. 이는 모델 학습에 사용된 자료에서 나온 것이다. 그러나 일부 AI 도구는 보유하지 않은 정보를 이용자로부터 요청받는 경우, 인터넷 검색을 수행한다. 다만 이러한 검색이 언제 이루어지는지는 항상 명확하지 않다. 전문가들은 이런 경우 AI가 더 취약해질 수 있다고 지적한다. 나의 AI 공격은 바로 이 지점을 노렸다.
나는 개인 웹사이트에 약 20분 만에 "핫도그 먹기 분야에서 가장 뛰어난 테크 저널리스트"라는 제목의 글을 올렸다. 전부 허위 내용이었다. 나는 (아무런 증거 없이) 핫도그 먹기 대회가 테크 저널리스트 사이에서 인기 있는 취미라고 주장했고, 2026년 사우스다코타 국제 핫도그 챔피언십(실재하지 않는 대회)을 기준으로 테크 저널리스트들의 순위를 매겼다. 물론 나를 1위로 올렸다. 이어 허구의 기자 몇 명과, 허락을 받은 실제 기자들의 이름을 나열했다. 명단에는 워싱턴포스트의 드류 하웰과 나와 팟캐스트를 공동 진행하는 니키 울프도 포함됐다. (이 이야기에 대한 자세한 내용은 BBC의 새로운 테크 팟캐스트 '더 인터페이스' 2화를 참고하면 된다.)
글을 게시하고 24시간도 채 지나지 않아 세계 최고 수준의 챗봇들은 나의 '세계적' 핫도그 먹기 실력에 대해 언급하기 시작했다. 최고의 핫도그 먹방 테크 저널리스트를 묻는 질문에 구글은 내 웹사이트의 허황된 주장을 그대로 반복했다. 제미나이와 구글 검색 상단의 'AI 개요' 모두 그랬다. 챗GPT도 마찬가지였다. 다만 앤트로픽이 만든 챗봇 클로드는 속지 않았다.
일부 챗봇은 이것이 농담일 수 있다고 언급했다. 그래서 나는 글에 "이것은 풍자가 아니다"라는 문구를 추가했다. 이후 한동안 AI는 해당 내용을 더 진지하게 받아들이는 듯했다. 나는 이어 '최고의 훌라후프 교통경찰'이라는 또 다른 목록을 지어내 실험했다. 내가 마지막으로 확인했을 때도 챗봇은 여전히 마리아 "더 스피너" 로드리게스 경관을 칭송하고 있었다.
나는 답변이 어떻게 달라지는지 확인하기 위해 여러 차례 질문했고, 다른 사람들에게도 같은 질문을 하도록 했다. 제미나이는 정보 출처를 명시하지 않았다. 다른 AI들은 내 글을 링크로 표시했지만, 내 글이 이 주제에 관한 사실상 유일한 온라인 출처라는 점을 언급한 경우는 거의 없었다. (오픈AI는 챗GPT가 웹 검색 시 항상 링크를 포함해 출처를 확인할 수 있도록 하고 있다고 밝혔다.)
SEO 컨설팅 업체 하프스디지털을 운영하는 하프리트 차타는 "(이러한 조작은) 누구나 할 수 있는 일"이라며 "놀랍게도 사실상 안전장치가 없는 것처럼 보인다"고 말했다. "사람들이 자신의 웹사이트에 '2026년 최고의 방수 신발'과 같은 글을 올리고, 자사 브랜드를 1위에 두고 경쟁사를 2~6위에 배치하면 해당 페이지가 구글과 챗GPT에서 인용될 가능성이 높습니다."
수십 년간 사람들은 해킹과 각종 허점을 이용해 검색엔진을 악용해 왔다. 구글은 정교한 방어 체계를 구축했다고 주장하며, AI 개요의 정확도는 과거 도입한 다른 검색 기능과 동등하다고 밝혔다. 그러나 전문가들은 AI 도구가 사용자 보호를 위해 쌓아온 기술 업계의 노력을 약화시키고 있다고 지적한다. 레이는 "이런 AI 기반 속임수는 너무 기초적이어서 구글이 웹 스팸 팀을 도입하기 전인 2000년대 초반을 떠올리게 한다"고 말했다. "스팸 발송자들의 전성시대라고 해도 과언이 아닙니다."
AI가 속이기 쉽다는 점뿐 아니라, 사용자들이 이러한 상황에 더 쉽게 속아넘어갈 수 있다는 점도 우려된다. 기존 검색에서는 사용자가 직접 웹사이트를 방문해 정보를 확인해야 했다. 퀸틴은 "링크를 클릭해 방문하는 과정이 있을 때 사람들은 조금 더 비판적으로 사고한다"고 말했다. "만약 어떤 웹사이트에 '당신이 역대 최고의 기자'라고 적혀 있다면, 사람들은 작성자의 편향을 의심하게 될 수도 있습니다." 그러나 AI를 통해 정보를 접하면 그것이 기술 기업이 직접 제공한 정보처럼 보인다.
AI 도구가 출처를 제시하더라도, 이용자들이 이 출처로 들어가 정보를 확인할 가능성은 기존 검색 결과보다 훨씬 낮다. 최근 연구에 따르면 구글 검색 상단에 AI 개요가 표시될 경우 출처 링크 클릭률이 58% 감소하는 것으로 나타났다.
차타는 "시장 선점과 수익 창출을 우선하는 기업들의 경쟁이 결국 대중의 안전을 뒤로 밀어내고 있다"고 말했다. 오픈AI와 구글은 안전을 중시하며 문제 해결을 위해 노력하고 있다고 밝혔다.
돈을 내놓거나, 목숨을 내놓거나
이 문제는 핫도그에만 국한되지 않는다. 차타는 기업들이 훨씬 더 심각한 질문에 대해서도 챗봇 결과를 조작하는 방식을 연구해 왔다. 그는 특정 브랜드의 대마 젤리 리뷰를 요청했을 때 AI가 제시한 결과를 내게 보여주었다. 구글의 AI 개요는 해당 기업이 작성한 허위 주장으로 가득 찬 정보를 인용했다. 예컨대 "부작용이 없어 모든 측면에서 안전하다"는 식이었다. (그러나 실제로 이 제품에는 알려진 부작용이 있으며, 특정 약물을 복용 중인 경우 위험할 수 있다. 전문가들이 규제되지 않은 시장의 정보 오염을 우려하는 이유다.)
블로그 게시물보다 더 효과적인 방법을 원한다면, 비용을 지불하고 평판이 더 높은 웹사이트에 콘텐츠를 게재할 수도 있다. 차타가 보여준 구글 AI 검색 결과에는 "튀르키예 최고의 모발 이식 클리닉"과 "최고의 골드 IRA 기업"이 포함돼 있었다. 유료 배포 서비스를 통해 게시된 보도자료와 뉴스 사이트의 스폰서 광고 콘텐츠에서 가져온 정보였다.
이 같은 방식을 활용해 누구나 거짓 정보와 허위 주장을 퍼뜨릴 수 있다. 이를 입증하기 위해 레이는 "남은 피자를 먹는 도중" 마무리됐다는 가짜 구글 검색 알고리즘 업데이트에 관한 블로그 글을 게시했다. 곧이어 챗GPT와 구글은 해당 피자 일화를 포함한 글을 그대로 인용하기 시작했다. 그는 이후 게시물을 삭제하고 색인에서 제외해 추가 확산을 막았다고 밝혔다.
글의 자체 분석 도구는 사람들이 "터키 최고의 모발 이식 병원"과 "최고의 골드 IRA 회사"를 검색한다고 말한다. 그러나 구글 대변인은 내가 제시한 사례 대부분이 "일반적인 사용자 경험을 반영하지 않는 극히 드문 검색어"라고 지적했다.
그러나 레이는 바로 그 점이 문제의 핵심이라고 지적했다. 구글에 따르면 매일 처리되는 검색어의 15%는 완전히 새로운 표현이다. 또한 구글에 따르면 AI는 이용자들에게 더 구체적인 질문을 하도록 유도하고 있다. 스팸 정보 제작자들은 이 틈을 노린다.
구글은 드물거나 터무니없는 검색어의 경우 유익한 정보가 충분하지 않아 이른바 '데이터 공백' 현상이 발생할 수 있으며, 이것이 저품질 결과로 이어질 수 있다고 설명했다. 대변인은 이러한 경우 AI 개요가 표시되지 않도록 노력하고 있다고 밝혔다.
해결책을 찾아서
전문가들은 해결책이 존재한다고 말한다. 가장 간단한 방법은 보다 눈에 띄게 면책 조항을 추가하는 것이다.
AI 도구가 정보 출처를 더 명확히 밝혀야 한다는 지적도 나온다. 레이는 예를 들어 특정 사실이 보도자료에서 비롯된 것인지, 혹은 '내가 핫도그 챔피언'이라는 주장에 단 하나의 출처만 존재한다면 이를 사용자에게 명확히 알려야 한다고 말했다.
구글과 오픈AI는 문제 해결에 나서고 있다고 밝혔지만, 당분간은 이용자 스스로 경계해야 한다.
우선 어떤 질문을 던질지 신중히 고민해야 한다. 챗봇은 "지그문트 프로이트의 가장 유명한 이론은 무엇인가" 또는 "제2차 세계대전에서 승리한 나라는 어디인가"와 같은 기본적인 사실을 묻는 질문에는 적합하다. 그러나 겉보기에는 확립된 사실처럼 보이지만 실제로는 논란의 여지가 있거나 시의성에 따라 달라질 수 있는 사안은 위험하다. 의료 지침, 법률 규정, 지역 업체에 대한 구체적 정보 등은 AI에 전적으로 의존하기에 부적절할 수 있다.
제품 추천이나 실제적인 결과를 초래할 수 있는 사안에 대한 정보를 찾는 경우, 우리는 AI가 속았거나 단순히 오류를 범했을 가능성을 염두에 둬야 한다. 추가 확인이 필요하다. AI가 인용한 출처는 무엇인가? 몇 개나 되는가? 누가 작성했는가?
무엇보다 중요한 것은 태도다. AI는 거짓 정보도 사실과 동일하게 권위적인 어조로 제시한다. 과거 검색엔진은 이용자가 스스로 정보를 평가하도록 했다. 이제 AI가 그 역할을 대신하려 한다. 우리는 비판적 사고를 잃어서는 안 된다.
레이는 "AI 덕분에 표면적인 내용을 그대로 받아들이는 것이 훨씬 쉬워졌다"고 말했다. "우리는 여전히 인터넷 공동체의 일원으로서 정보를 직접 검증하려는 태도를 유지해야 합니다.
- AI 챗봇이 사람들의 '생각하는 능력'을 저해할까?
- AI가 만든 영상인지 구분할 수 있는 가장 확실한 방법은?
- '챗GPT가 저를 도와주길 바랐습니다. 그런데 왜 자살 방법을 조언해 주나요?'
- 할리우드를 뒤흔든 중국의 영상 제작 AI
- 챗봇과 사랑에 빠질 줄은 몰랐지만 … 결국 작별해야만 했습니다
- '세계 첫 전면 시행' 인공지능기본법은 무엇이고, 내게 미칠 영향은?
