중국, 잇따른 자연재해 속 공포 부추기는 '가짜 AI 영상' 횡행
지난 주말 상륙한 태풍 '노을'의 피해를 수습하고 있는 중국 당국은 뜻밖의 다른 골칫거리에 직면고 있다. 바로 인공지능(AI)으로 제작된 조작 영상이다. 이러한 콘텐츠는 사람들을 위험할 정도로 오도하며 혼란을 키울 수 있다.
지난 몇 달간 잇달아 발생한 폭풍과 홍수 사태를 계기로 중국 SNS에는 가짜 영상과 사진들이 범람하고 있다. 홍수로 불어난 물에 시신이 떠다니는 이미지부터, 실제로는 홍수 피해를 입지 않은 지역을 심각한 피해 지역인 것처럼 허위로 묘사한 영상, 긴급 구조 활동에 관한 명백한 허위 정보를 담은 영상까지 다양하다.
일부 지역에서는 정전이 발생할 것이라는 거짓 정보 영상으로 인해 주민들이 비상 물품을 사재기하는 일까지 발생했다.
과거 일어난 실제 사건을 악용한 영상들도 있다.
7월 초, 광시 좡족 자치구 횡주시에서는 홍수로 사육장에서 기르던 뱀 수백 마리가 탈출하는 일이 있었다. 그리고 최근 홍수로 불어난 물을 따라 마치 악어들이 강으로 흘러가는 듯한 거짓된 AI 영상까지 등장했다.
대규모 구조 및 대피 작업을 진행하며 긴장감이 고조된 상황에서 중국 당국은 최대한 시민들의 공황을 막고자 노력하고 있다.
그리나 당국은 이제는 AI 기술이 손쉽게 사람들을 속이는 수단이 되고 있어 우려하고 있다. AI 기술은 중국이 수십억달러를 쏟아붓고 있는 산업이기도 하다.
저장성 공안청에서 온라인 공공안전을 담당하는 황 즈화 부국장은 국영 언론과의 인터뷰에서 "이러한 콘텐츠 제작자 중 다수는 선정적이고 과장된 콘텐츠가 더 많은 '좋아요'와 조회수를 얻는다는 점을 이용해 팔로워를 늘리고자 재난 뉴스를 이용하고 있다"며 "사람들의 관심을 끌고자 의도적으로 정보를 조작하고 있다"고 지적했다.
최근 몇 주 사이 허위 보도 및 영상 제작 등의 혐의로 체포되거나, 재판에 넘겨지거나, 벌금을 부과받는 사례도 잇따르고 있다.
그러나 전문가들은 전례 없는 허위정보 위기가 닥칠 수 있다고 경고하고 있다.
중국 중앙당교(중앙 공산당 학교)가 발행하는 신문에서 첸 빈 교수는 "AI의 발달로 허위 정보를 생산하는 데 필요한 기술적 장벽이 획기적으로 낮아졌다"며 "더 이상 정교한 기술적 능력이 필요하지 않다. AI 도구에 프롬프트를 입력하는 간단한 행위만으로도 꽤 설득력 있는 텍스트, 이미지, 오디오, 영상 등을 빠르게 만들어낼 수 있다… 이러한 콘텐츠는 매우 그럴 듯하지만, 실제로는 완전히 조작된 내용이며, 대규모로 양산되고 있다"고 지적했다.
화동정법대학의 가오 푸핑 교수는 BBC와의 인터뷰에서 이러한 허위 콘텐츠 제작자들의 동기는 다양하다고 설명했다. "그 여파를 생각하지 않고 그저 재미있는 것을 만들려는 사람들"도 있고, "개인적 이익을 위해 조회수를 높이려는" 사람들, 나아가 의도적으로 "공포나 사회적 불안을 조장하려는" 사람들도 있다는 것이다.
이어 "일부 사용자들은 온라인 세계에서는 익명이 보장되고 규제가 없으며, 자신의 행적이 추적되지 않는다고 생각한다"고 덧붙였다.
모든 AI 생성 콘텐츠에는 명확한 표시를 의무화해야 한다는 주장도 이어지고 있지만, 일부 사용자들은 이 표시를 손쉽게 제거해버리거나 재편집할 수도 있다.
베이징사범대학의 쉬 샤오커 교수는 BBC와의 인터뷰에서 타임스탬프를 활용한 지리적 위치 확인 및 이미지 출처 검증 등을 강화해야 한다고 강조했다.
그러면서도 "하지만 탐지 기술이 여전히 생성 기술에 뒤처져 있다는 점도 강조하고 싶다"며 "우리는 끊임없이 고양이와 쥐의 추격전을 벌이고 있는 셈이다. 따라서 버튼 하나만 누르면 AI 생성 콘텐츠를 식별할 수 있을 것으로 기대해서는 안 된다"고 경고했다.
한편 중국 정부는 기술 초강대국으로 도약하고자 AI 기술에 적극적으로 투자하고 있다. 2017년, 정부는 AI가 국가 발전의 "주요 원동력"이 될 것이라고 발표하기도 했다.
AI 기업들에 막대한 자금이 쏟아지면서 중국 내 경쟁도 치열해졌다. 국영 '신화통신'에 따르면 현재 중국 내 AI 기업은 6000개 이상이다.
이러한 상황에서 쉬 교수는 중국 사회가 "신뢰할 수 있는 정보 인프라"를 구축해야 한다고 말한다. 언론사가 접근할 수 있는 정부의 공식 조기 경보 시스템과 재난 대응 플랫폼 등을 생각해 볼 수 있다.
그러나 국영 언론 등 공식 기관이 과거 재난을 의도적으로 축소 보도한 사례가 있는 만큼, 공식 정보에 대해서는 대중의 불신이 존재한다.
일례로 지난 7월 초, 중국 광시 좡족 자치구 난닝시 인근 류란 댐이 붕괴한 바 있다. 대규모 붕괴 사고였으나, 당국은 지역 언론인들에게 "구멍"이나 "틈" 등의 표현을 사용해 보도 수위를 "완화"하라고 지시했다.
당국은 사태의 심각성을 감추려고 했던 것으로 보이지만, 무너진 댐을 뚫고 쏟아져 나온 물로 인해 하류 지역에서 최소 26명이 사망하는 등 피해는 치명적이었다.
이는 단발성 사례가 아니다.
2021년 허난성에서는 139명이 숨진 참사와 관련해 피해 규모를 은폐 및 축소 보고한 혐의로 공무원들이 체포된 바 있다.
이와 같은 사례들이 알려지면서 신뢰에는 공백이 생겼고, 이에 악의적인 의도를 품은 이들이 허위정보를 퍼뜨리기가 훨씬 쉬워졌다.
하지만 중국 공안 당국은 재난 상황에서는 무엇보다 공인된 출처를 신뢰해달라고 간곡히 부탁하고 있다.
저장성 닝보시 공안국의 가오 카이는 "출처를 알 수 없는 재난 관련 정보를 접하면 먼저 의심하도록 하고, 대신 공식 발표를 신뢰해야 한다"고 강조했다.
아울러 "인터넷은 무법지대가 아니다. 공안 당국은 불법 온라인 활동 단속을 계속 강화할 것"이라며 허위 정보 유포자들은 반드시 적발될 것이라며 대중을 안심시키려 했다.
"특히 숏폼 동영상 플랫폼을 중심으로 SNS를 밀착 감시하기 위한 전담 태스크포스를 구성했습니다. 이를 통해 관련 사건들을 신속하게 조사하고 처리하며, 매우 엄정하게 단속할 것입니다."
허위 정보로 인한 피해가 심각할 경우, 유포자는 벌금형부터 최대 징역 7년까지 선고받을 수 있다.
한편 지난 23일, 중국 사이버공간관리국(CAC)은 홍수 등 재난과 관련된 허위 인터넷 콘텐츠를 전국적으로 단속하겠다고 밝혔다. 이에 각 지방 정부에는 조작된 데이터나 악의적인 편집, 연출된 장면, 출처가 잘못 표기된 역사적 사건, 공무원을 사칭하는 사례 등을 집중 적발해달라고 주문했으며, SNS 플랫폼 측에는 콘텐츠 심사 기능을 강화해달라고 요구했다.
화동정법대학의 가오 교수는 "법 집행과 대중 교육이 결합해야 근본적인 해결이 가능하다"며 "처벌받은 실제 사례를 널리 알릴 필요가 있다"고 강조했다.
그는 "AI로 생성한 가짜 콘텐츠로 인한 피해는 결국 기술 자체가 아니라 사람들이 기술을 어떻게 사용하느냐에 달려 있다"며, 기존 법률만으로도 충분히 대응할 수 있다고 덧붙였다.
그러나 이렇게 낙관하지 않는 이들도 있다.
첸 교수는 "AI 기술은 법적 체계보다 훨씬 빠른 속도로 발전하고 있다. 새로운 법적 쟁점이 제기되는 만큼, AI 허위 정보는 여전히 우리 사회가 직면한 중대한 문제"라고 강조했다.
상하이와 워싱턴을 기반으로 활동하는 변호사 피터 팡은 전 세계적으로 이와 관련한 법적 사건 수가 폭발적으로 증가하고 있다고 설명했다.
그러면서 AI 앱을 개발하는 기업과 가짜 동영상 및 기타 자료를 게시하는 데 사용되는 플랫폼 역시 허위 정보 생성 및 유포자들과 함께 법적 책임을 져야 한다고 주장했다.
팡은 BBC와의 인터뷰에서 "첫 번째 책임 주체는 플랫폼이다. 이러한 일이 가능하게 하는 주체이기 때문이다. 이러한 (거짓) 내용이 퍼지도록 허용하는 주체이기도 하다"고 강조했다.
그러면서 SNS에 올라온 허위 게시물로 인해 공황상태에 빠진 한 운전자가 보행자를 치게 되는 가상의 사례를 제시했다.
"영상 제작자는 '누군가를 차로 친 것은 당신이죠. 그러니 이건 당신의 문제입니다. 내가 한 게 아니에요'라고 말할지도 모릅니다. 하지만 한번 생각해봅시다. 운전자가 그렇게 반응하도록 만든 것은 누구인가요. 그 공황을 유발했다면, 그 결과에 대해서도 책임을 져야 합니다."
한편 베이징사범대학의 쉬 교수는 AI가 생성한 허위 정보에 대해 "양적으로 증가할 뿐만 아니라, 확산 속도 역시 빨라질 가능성이 있다"고 경고했다.
"앞으로 정치 선거, 공중보건 비상사태, 무력 충돌, 자연재해, 국민의 생계와 관련된 문제들은 AI가 생성한 허위 정보가 유포되기 쉬운 고위험 분야가 될 수 있습니다."
"허위 정보가 확산한 후에야 이를 억제하려 애쓰기보다는, 정부와 플랫폼은 지금부터 미리 대비해야 합니다."
- AI가 만든 영상인지 구분할 수 있는 가장 확실한 방법은?
- 인종차별적 딥페이크 조작 영상, 미국의 한 지역을 완전히 분열시키다
- 이스라엘-이란 갈등 격화 속 AI가 만든 전투기 격추 영상 확산
- AI가 생성한 '가짜 이미지'로 흑인 유권자 공략하는 트럼프 지지자들
