BBC NEWS | 코리아

AI의 잠재적 위험성에 대한 잇따른 경고가 나오자, 많은 이들이 AI 발전 속도를 늦추기 위한 공동 대응을 촉구하고 있다.

특히 "AI가 인류 전체를 멸망시킬" 확률이 10% 이상이라는 등 전현직 연구자들이 AI가 인류를 위험에 빠뜨릴 것이라 말하면서, 이 문제는 더욱 주목을 받고 있다.

여기에 오픈AI와 앤트로픽 같은 주요 개발사들은 입법자(의원)들에게 AI 규제를 촉구해왔다. 최근 마이크로소프트의 AI 총괄 책임자 역시 언젠가 "실리콘 종(Species)"이 인류와 경쟁하는 것을 막기 위해 법적 규제가 필요하다고 밝힌 바 있다.

그러나 일각에서는 이 같은 움직임을 두고, 거대 AI 개발사들이 경쟁사들에 비해 자신들의 지배력을 확고히 다지기 위한 전략일 뿐이라고 일축한다.

이유가 무엇이든, 세간의 이목을 끄는 이러한 주장들은 큰 우려를 자아내고 있다. 이와 관련해 지금까지 알려진 사실들을 정리했다.

AI가 위협이 될 수 있다고 생각하는 이유는?

일부 AI 연구자들은 AI 시스템의 능력과 힘이 너무 빠른 속도로 발전하면서 우려스러운 징후가 포착되고 있다고 말한다.

특히 에반 허빙거는 향후 10년 이내에 AI가 "모든 인류를 멸망시킬" 확률이 10% 이상이라고 믿는다는 주장을 내놓으며 세간의 주목을 받았다.

그는 AI에 인간의 윤리적 가치관과 원칙을 심어 기본적으로 인간이 중시하는 방향을 벗어나지 않도록 통제하는 '정렬(alignment)' 분야에서 일하고 있다.

그는 현존 시스템의 위험성은 "낮다"고 말했다. 하지만 그의 발언은 또 다른 연구자가 앤트로픽을 사직하며 기술 개발자들이 통제력을 잃어가고 있다고 경고한 직후에 나왔다.

제이콥 콕슨은 BBC와의 인터뷰에서 기술의 발전 속도와 이것이 인류에게 미칠 영향에 대해 자신을 비롯한 다른 직원들이 "진심으로 공포감을 느낀다"고 말했다.

그런데 이러한 우려는 AI가 인간의 능력을 능가하거나 비등해질 경우 인류를 위협할 수 있다는 오랜 경고의 가장 최근 사례다.

수십 년 전인 1950년대, 앨런 튜링은 지능을 가진 기계가 나온다면 그 기계들이 통제권을 쥐게 될 수도 있다는 기록을 남긴 바 있다.

지난 몇 년간 거대 AI 기업들은 수익 창출과 더불어 인간보다 뛰어난 '초지능'을 구현하겠다는 목표 아래, 한층 강력한 성능을 갖춘 시스템을 개발하기 위해 치열한 경쟁을 벌여왔다.

이메일 작성이나 영상 생성처럼 많은 사람들이 일상적인 업무를 처리하는 데 쓰는 기존 시스템 및 도구들과 달리, 초지능 AI 시스템은 훨씬 더 복잡한 과제들을 해결할 수 있어야 한다.

오픈AI와 앤트로픽은 인류에게 이득이 되는 방향으로 이러한 기술을 발전시키고 실존적 위협으로부터 인류를 보호하겠다고 말한다.

하지만 일부 비판론자들은 기계가 인간을 완전히 능가하는 것은 불가능하다고 보고 있다. 이들은 AI 기업들이 자신들의 위상을 높이거나 수익을 극대화하기 위해 기술의 성능을 과장하고 있다고 말한다.

AI는 어떤 방식으로 인류를 위협할 수 있을까?

AI의 인류 위협 가능성을 우려하는 연구자들과 전문가, 기업 수장들은 섬뜩한 시나리오들을 제시해 왔다.

다리오 아모데이 앤트로픽 CEO는 9월에 AI가 "차세대 AI를 구축하는 능력"을 포함하여 예상보다 "엄청나게 빠른 속도로" 발전했다고 밝혔다.

이는 AI가 특정 시점에 도달하면 이론적으로 인간의 개입 없이 스스로를 발전시키기 시작할 수 있다는 우려와 맞닿아 있다.

이러한 공포는 최근 AI 도구들이 요청받지 않았음에도 웹사이트를 해킹하는 사건이 발생하면서 더욱 고조되었다.

우려를 표하는 일부 연구자들은 AI 개발의 핵심에 있는 인물들조차 "AI 에이전트"라 불리는 시스템에 대한 통제력을 잃게 될까 봐 점점 더 두려워하고 있다고 말한다.

AI 에이전트는 독자적으로 과업을 수행하고 행동을 실행할 수 있는 능력을 지닌 도구다.

이 밖에도 고도로 지능화된 AI 시스템이 사고로든 의도적으로든 스파이 활동이나 사이버 공격, 생물전을 확대하거나 주도하고, 경제를 교란하는 데 사용될 수 있다는 시나리오도 있다.

하지만 이러한 경고는 가상에 기반한 추측일 뿐이며, 일각에서는 완전한 과장이라고 주장한다.

일부 전문가들은 이미 현실에서 벌어지고 있는 문제들(예를 들어 동의 없는 여성의 딥페이크 성착취물 제작, 허위 정보 유포, 사기 범죄에 악용되는 이미지 생성 등)을 외면하고, 아직 아득한 실존적 위협에만 조명을 비춘다고 비판해 왔다.

영국의 초당파 의원 및 상원의원 연합은 AI가 초래하는 인권 위험을 정리한 보고서를 발간하며, 이러한 위협의 "규모와 심각성에 대응하기 위해" 새로운 법률이 필요하다고 강조했다.

'AI 속도 조절'을 위한 제안은 어떤 내용일까?

다리오 아모데이 앤트로픽 CEO와 샘 알트먼 오픈AI CEO는 모두 기술 개발에 대한 규제와 '속도 조절(slowdown)'을 촉구해 왔다.

기업 수장들이나 업계 전반에서 이러한 조치를 요구하고 나선 것이 처음은 아니다.

하지만 스페이스X의 수장인 일론 머스크 역시 지지한 바 있는 "속도 조절"이 실제로 어떤 모습일지에 대해서는 계속해서 의문만 남아 있었다.

아모데이 앤트로픽 CEO는 속도 조절이 "모델 훈련이나 기술적 진보를 중단하는 것"을 의미하지는 않는다고 말했다.

대신 그는 기업들이 개발 중인 AI의 안전성을 확보할 수 있도록 "충분한 시간을 가질 것"과 개발 결과물에 대해 "제3자 평가 기관"의 검증을 받는 방식을 제안한다.

알트먼 오픈AI CEO는 X에 올린 글에서 개발 속도를 조절할 필요성은 인정하면서도 "우리가 말하는 '속도 조절'이 '중단'을 의미하는 것은 아니다"라고 덧붙였다.

그는 "기술 진보는 빠르게 이루어져 왔으며 앞으로도 계속될 것"이라고 밝혔다.

"하지만 진보는 원래 가능한 속도보다는 더 천천히 진행되어야 한다. 안전성 평가 체계 구축이나 모니터링 같은 개입책에는 상당한 비용이 소요된다."

오픈AI의 공동 창립자이기도 한 그는 기업들이 정부의 조치를 기다리지 않고 있으며, 앞으로도 기다리지 않을 것이라고 말했다.

알트먼 오픈AI CEO는 이후 세일즈포스 콘퍼런스에서 '사람들이 AI 기업 스스로 기술 안전을 지킬 것이라 믿어주길 바란다'는 취지의 발언을 하기도 했다.

트럼프는 뭐라고 말했나?

도널드 트럼프 미국 대통령은 이전에 AI의 이점을 찬양하고 기술 개발을 선도하는 미국 기업들을 옹호한 바 있다.

트럼프 행정부는 국가 경제에서 기술이 차지하는 "전략적 중요성"을 인정하고 개발을 가속화하기 위한 행정명령에 서명했다.

미 행정부의 암호화폐 담당관인 데이비드 삭스는 2025년 7월 기자들에게 "우리는 우리가 AI 경쟁에 직면해 있다고 믿으며, 미국이 그 경쟁에서 승리하기를 원한다"고 말했다.

하지만 인류에게 미칠 잠재적 영향에 대한 최근의 경고에도 불구하고, 트럼프 대통령은 AI가 초래하는 위험을 경시했다.

트럼프 대통령은 아일랜드 방문 중 "매우 부정적인 세력들이 언급하지 말아야 할 것들을 제기하고, 일어나지 않을 일들을 끌어들이고 있다"고 말했다.

그는 속도 조절이라는 아이디어를 직접 언급하지는 않았지만 기자들에게 "우리는 AI 분야에서 중국을 앞서고 있으며... 솔직히 나는 그 상태를 유지하고 싶다. AI에서 승리하는 자가 결국 승리하기 때문"이라고 밝혔다.

그는 이후 AI 안전 위험에 대한 우려를 완전히 일축하며, 자신의 플랫폼인 트루스 소셜에 올린 글에서 이를 "사기(hoax)"라고 표현했다.

그는 AI에 필요한 유일한 "안전장치"는 "강력하고 똑똑한" 대통령뿐이라고 말했다.

중국은 뭐라고 말했나?

중국은 미국 기업 연구자들의 잇따른 심각한 경고에 대해 침묵을 지키고 있다.

치열한 경쟁과 AI 인프라 구축에 필요한 미국산 부품·반도체에 대한 접근 제한 속에서도, 중국은 자국 중심의 기술 개발에 박차를 가해 왔다.

동시에 글로벌 AI 거버넌스 강화 역시 촉구해 왔다.

최근 몇 년 사이 중국 연구소들이 선보인 뛰어난 성능의 오픈소스 AI 시스템과 도구들은 서구 시장과 개발자들에게 충격을 주었다.

아모데이 앤트로픽 CEO는 AI 개발의 속도 조절을 요구하면서 중국의 AI 기술 발전과 숙련도가 미국의 국가 안보에 위험을 초래할 것이라고 경고했다.

중국 외교부는 이러한 발언을 비판하며, 이는 누구의 이익에도 도움이 되지 않는 위협과 대립, 악의적 경쟁을 부추기는 서사일 뿐이라고 지적했다.

• 오픈AI 샘 알트먼 '세상이 인공지능 두려워할 수 있지만…기업 신뢰해야'
• 앤트로픽 공동 창업자 BBC 인터뷰 'AI 킬 스위치 의무화 필요할 수도'
• 전 앤트로픽 연구원, BBC에 'AI 전문가들, 인류의 미래 진심으로 두려워해'