범죄에 오픈된 '오픈소스 AI'…딥페이크 막기 힘든 까닭 [팩플]

학생들도 손쉽게 이미지를 만들 수 있게 도와주는 인공지능(AI) 도구 확산의 부작용이 커지고 있다. 불법 딥페이크(AI 등 기술을 이용해 만든 실제 같은 이미지나 영상) 음란물로 인한 피해가 커지면서다.

무슨 일이야

27일 윤석열 대통령은 딥페이크를 활용한 디지털 성범죄에 강력히 대응할 것을 지시했다. 윤 대통령은 이날 국무회의 모두발언에서 “딥페이크는 명백한 범죄행위”라며 관계당국의 철저한 수사를 지시했다. 경찰은 딥페이크 성범죄에 대한 특별 단속에 나섰다. 방송통신심의위원회(방심위)도 긴급회의를 열고 대책 마련에 나섰다.


대통령까지 딥페이크 근절을 강조한 것은 친구‧지인 여성의 얼굴에 음란물을 합성하는 딥페이크 사태가 일파만파 커지고 있어서다. 특히 해당 음란물이 해외 메신저 앱 텔레그램을 통해 모인 이용자들간 공유되는 일이 잦아지면서 피해를 키우고 있다. 불법 합성물로 협박하는 추가 범죄도 우려되는 상황이다.

딥페이크, 왜 범람하나

업계에선 딥페이크 음란물을 만들고, 유통하는 문턱이 크게 낮아진 점을 원인으로 꼽는다.

① 쉬워진 생산: 생성 AI 프롬프트(지시) 입력 창에 간단한 문장을 입력하는 것만으로도 음란물 이미지‧영상의 생성과 합성이 가능해졌다. 특히 누구나 자유롭게 이용할 수 있는 오픈소스(개방형) AI 모델이 크게 늘면서 이를 활용한 딥페이크 앱 개발도 용이해졌다. 오픈소스 AI는 소스코드, 데이터셋 등을 공개해 누구나 무료로 사용할 수 있는 AI다. 이를 통해 개발자들은 AI를 자유롭게 수정하고 개선할 수 있다. 구글 플레이스토어 등 앱마켓에서 딥페이크 앱이 늘어난 이유다.

② 편해진 유통: 텔레그램은 보안성, 프라이버시를 이유로 수사협조에 거의 응하지 않아 딥페이크 음란물 범죄의 온상으로 지목되고 있다. 국내에서도 2019년 텔레그램을 악용한 온라인 성범죄 사건인 ‘N번방 사건’이 사회적으로 큰 논란이 된 바 있다.

막을 방법은

관련 업계에선 사실상 사전에 딥페이크 음란물 제작을 막을 방법이 현재로선 거의 없다고 본다. 구글, 메타와 같은 빅테크에서 만드는 폐쇄형 이미지 생성 AI는 프롬프트 입력 단계에서 음란성 단어 차단 등으로 사전 필터링을 하거나, 생성 단계에서 차단한다. 하지만 오픈소스 방식을 채택한 스테이블 디퓨전과 같은 이미지‧영상 도구를 활용한 딥페이크 생성과 합성은 막을 방법이 없다.

물론 만들어진 딥페이크 이미지가 실제인지, 딥페이크로 만들어진 건지에 대해선 기술적으로 확인할 수 있다. 하지만 만드는 것 자체를 막는 건 어렵다는 의미다. 김도국 인하대 인공지능공학과 교수는 “생성 AI로 만들어진 이미지에 워터마크를 부착하는 기술은 존재해, 이 기술이 제작자 추적 등 사이버 수사에 도움이 되는 면은 있다”고 말했다. 그는 “다만 기업뿐만 아니라 많은 개발자들이 오픈소스로 AI를 공개함에 따라 일반인들이 AI 생성물을 만드는것 까지 막기는 어렵다”며 “빅테크와 달리 개인 개발자들을 규제하기도 쉽지 않다”고 말했다.

현실적 대안은

업계에선 딥페이크 생산을 막기 어려운 만큼, 유통을 최소화하는 방향으로 가는 게 가장 현실적인 대안으로 꼽는다. 플랫폼이 유통 책임을 지고 자정작용을 하거나, 그게 어렵다면 공적 규제가 이뤄져야 한다는 목소리가 나오는 이유다. 최근 텔레그램의 창업자이자 최고경영자(CEO)인 파벨 두로프가 프랑스에서 체포된 것도 같은 맥락의 일이다. 두로프는 텔레그램 내에서 벌어지는 각종 범죄에 대해 적절한 조처를 하지 않았다는 혐의를 받고 있다. 세계 최대 오픈소스 저장소 깃허브는 지난 24일 딥페이크 영상 제작에 활용되는 ‘딥페이스랩’ 코드를 삭제하는 등의 조치를 취했다. 다만 지나친 규제는 정보를 유통하는 플랫폼 본연의 역할을 저해시킬 수도 있다는 우려도 나온다.

대통령실 사이버특별보좌관인 임종인 고려대 정보보호대학원 석좌교수는 “딥페이크 만드는 것 자체를 억제하는 것은 불가능하다"며 “다크웹(특정 방식으로만 접속할 수 있는 웹) 등에서 딥페이크를 만드는 AI가 공공연히 거래되고 있다”고 말했다. 그는 "결국 글로벌 플랫폼과의 협력, 국제공조를 통해 빨리 발견하고 제거하는 것이 중요하다”고 덧붙였다.

더중앙플러스: 성범죄부터 선거까지, AI 딥페이크의 공습

딥페이크는 글로벌 골칫거리로 부상 중이다. 인터넷에 떠도는 사진만으로도 10분이면 뚝딱, 치명적 딥페이크를 만들 수 있어서다. 더중앙플러스 '팩플 오리지널'에서 생성 AI 시대의 그림자, 딥페이크를 분석했다.

초짜도 10분만에 만들었다, 한동훈·이재명 가짜 영상
https://www.joongang.co.kr/article/25237670

김남영([e-mail])