BBC NEWS | 코리아

미국 시장에 어필이 될 만한 국제 영화를 발굴하는 것은 XYZ 필름스의 중요한 업무 중 하나다.

맥심 코트레는 미국 로스앤젤레스에 본사를 둔 이 독립 스튜디오의 최고운영책임자다.

그는 미국 시장은 영어가 아닌 외국어로 된 영화에 있어 항상 까다로운 곳이었다고 말한다.

"지금까지는 뉴욕 해안가의 관객층을 대상으로 하는 아트하우스 영화에 한정돼 왔습니다."

이는 부분적으로 언어 문제 때문이다.

그는 "미국은 유럽처럼 자막이나 더빙 문화 속에서 성장한 사회가 아닙니다."라고 지적한다.

하지만 이런 언어 장벽은 새로운 AI 기반 더빙 시스템을 통해 더 쉽게 극복할 수 있을지도 모른다.

최근 스웨덴 공상과학영화 'Watch the Skies'의 음성과 영상이 '딥 에디터'라는 디지털 도구에 입력됐다.

이 소프트웨어는 영상을 조작해 배우들이 마치 그 언어를 실제로 말하는 것처럼 보이게 만든다.

코트레는 "2년 전 이 기술의 결과물을 처음 봤을 땐 그냥 괜찮다는 수준이었지만, 최근 편집본을 보고는 정말 놀라웠다"며 "일반 관객이 본다면 눈치채지 못할 것이다. 그냥 배우들이 그 언어를 원래 말한다고 생각할 수준"이라고 말했다.

영어 버전의 'Watch the Skies'는 지난 5월 미국 전역 110개 AMC 극장에서 개봉했다.

코트레는 "만약 이 영화가 영어로 더빙되지 않았다면, 미국 극장 개봉은 애초에 불가능했을 것"이라고 설명했다.

"덕분에 미국 관객들은 원래라면 소수 관객만 볼 수 있었을 스웨덴 독립영화를 접할 수 있었습니다."

그는 AMC가 앞으로도 이와 같은 개봉 방식을 더 이어갈 계획이라고 밝혔다.

'딥에디터'는 런던 소호에 본사를 둔 '플로우리스'에서 개발했다.

각본가이자 감독인 스콧 만은 2020년 이 회사를 설립했으며, 'Heist', 'The Tournament', 'Final Score' 등과 같은 영화 작업에 참여한 바 있다.

현재 로스앤젤레스에 거주하고 있는 그는 자신의 국제판 영화에서 사용된 전통적인 더빙 기법이 원작의 감정적 임팩트를 제대로 살리지 못한다고 느꼈다.

"2014년 'Heist' 작업 당시 로버트 드 니로 같은 훌륭한 배우들이 출연했는데, 그 영화가 다른 언어로 번역된 걸 보고 처음으로 깨달았습니다. 영화와 TV가 해외에서 잘 통하지 않는 건 당연하다는 사실을요. 기존 더빙 방식이 영화의 모든 걸 바꿔버리기 때문입니다."

"모든 게 싱크가 어긋나 있고, 연기 자체도 달라져 버립니다. 영화 제작자의 순수한 관점에서 보면, 전 세계 관객이 낮은 수준의 버전을 보고 있는 셈입니다."

플로우리스는 2018년 발표된 연구 논문을 기반으로 얼굴을 인식하고 수정하는 자체 기술을 개발했다.

만은 "딥에디터는 얼굴 감지, 얼굴 인식, 주요 지점 탐지(눈·코·입 같은 얼굴 특징), 3D 얼굴 추적을 결합해 배우의 외모, 동작, 감정 표현을 장면마다 이해한다"고 설명했다.

그는 이 기술이 배우의 원래 연기를 언어에 상관없이 보존할 수 있어, 재촬영이나 재녹음이 필요하지 않고 비용과 시간을 줄여준다고 말했다.

그에 따르면, 'Watch the Skies'는 세계 최초의 완전 시각적 더빙 장편 영화다.

딥에디터는 배우가 다른 언어를 말하는 것처럼 보이게 할 뿐 아니라, 더 좋은 연기를 한 다른 테이크를 활용해 교체하거나 새로운 대사를 삽입하면서도 원래 연기의 감정 표현을 그대로 유지할 수 있게 해준다.

'비즈니스 리서치 인사이트' 보고서에 따르면 넷플릭스, 애플 등 스트리밍 플랫폼의 폭발적 성장 덕분에 글로벌 영화 더빙 시장은 2024년 40억 달러(약 5조 2000억 원)에서 2033년 76억 달러(약 9조 9000억 원) 규모로 성장할 것으로 전망된다.

만은 기술 비용을 공개하진 않았지만, 비용이 프로젝트마다 다르다고 밝혔다. 그는 "보통 촬영하거나 다른 방식으로 수정하는 비용의 10분의 1 정도로 계산된다"고 말했다.

그의 고객에는 "거의 모든 주요 스트리밍 업체들"이 포함된다.

만은 이 기술이 영화를 더 넓은 관객층에 선보일 수 있도록 할 것이라고 믿는다.

"엄청나게 훌륭한 영화와 TV 작품들이 존재하지만, 영어권 시청자들은 더빙이나 자막을 보기 싫어하기 때문에 접하지 못하는 경우가 많습니다."

만은 이 기술이 배우를 대체하기 위한 것이 아니라고 강조했다. 그는 합성 음성을 쓰지 않고, 실제 성우가 참여한다고 설명했다.

"우리가 발견한 건, 이 도구를 창작자와 예술가들에게 직접 제공하는 것이 올바른 접근이라는 겁니다. 그들은 이 도구를 사용해 자신들의 예술을 더 강화할 수 있고, 그게 최종 결과물에 반영되죠. 많은 다른 기술 기업들의 접근법과는 정반대입니다."

그러나 예일대학교 영화·미디어학과 조교수인 네타 알렉산더는, 더 넓은 배급 가능성이 매력적으로 보일지라도, 비원어권 시장을 위해 인공지능으로 연기를 재구성하는 방식은 언어·문화·몸짓의 고유한 특성과 질감을 훼손할 위험이 있다고 우려한다.

"만약 모든 외국 영화가 영어처럼 보이고 들리도록 변형된다면, 관객의 '외국'과의 관계는 점점 더 매개되고, 인공적이며, 정제된 것이 될 것입니다."

"이는 교차 문화적 문해력을 약화시키고, 자막이나 원어 상영에 대한 지원을 꺼리게 만들 수 있습니다."

또한 그는 자막이 언어 학습자, 이민자, 청각장애인 등에게 중요한 도구라는 점에서, 자막의 대체는 접근성 문제를 야기한다고 지적했다.

그는 "자막은 단순한 보완책이 아니라, 다양한 관객을 위해 시각적·청각적 스토리텔링의 무결성을 보존하는 방법."이라고 말했다.

이를 자동화된 모방으로 대체하는 것은 영화 문화를 상품화시키고, '단일 언어 중심적'으로 만드는 우려스러운 전환이라고 그는 지적했다.

"외국 영화를 영어권 관객에게 더 쉽게 다가가게 만드는 방법을 묻기보다는, 다양한 영화를 있는 그대로 받아들일 준비가 된 관객을 어떻게 만들 것인가를 묻는 것이 더 나을지도 모릅니다."

• 마블이 자신감을 회복한 것일까? '판타스틱 4'에 대한 평론가들의 평가
• 넷플릭스, 할리우드 파업 중 연봉 11억원 'AI 관리자' 채용 발표에 논란
• 의식이 있는 인공지능?… 우리는 준비가 되어 있나
• 기대 반 두려움 반 … 일부 유명인들이 AI 딥페이크 기술을 받아들이는 이유
• 딥페이크: 성인 AI 콘텐츠에 신원이 도용된 인도 여성
• 인종차별적 딥페이크 조작 영상, 미국의 한 지역을 완전히 분열시키다