[이근우 변호사의 기승전IT] AI를 사용한 음란물 문제

[법무법인 화우 이근우 파트너변호사] 이제 성인물이나 음란물 역시 AI를 통해 자연스럽게 만들어지고 있다.

24년 1월경 X에서 팝스타 테일러 스위프트의 얼굴 사진이 합성된 음란 이미지가 확산돼 팬들의 공분을 일으켰던 것도 이러한 문제의 단적인 면을 보여준다. 이른바 딥페이크(Deepfake) 포르노 문제라고 할 수 있는데, 이는 인공지능(AI) 기술인 딥러닝을 활용하여 피해자의 음성과 얼굴을 위조하고 이를 통해 편집·영상합성된 음란영상물을 유포하는 것이다.

문제는 이러한 딥페이크 포르노가 기존의 보편화된 컴퓨터그래픽 기술에 AI 딥러닝 기법으로 너무나 손쉽게 제작 가능하고 이렇게 업로드되는 음란영상물을 완벽하게 필터링할 수 없어서 불법영상물이 급속도로 확산될 뿐만 아니라 완전히 삭제되지 않아 피해가 지속된다는 점에 있다.

미국 워싱턴포스트(WP)는 1월 25일(현지시간) 포르노 업계의 AI 개발 사례를 소개하고 “AI는 성인엔터테인먼트 산업을 영원히 바꿀 것이다. 이것이 초래하는 윤리적·법적 위험은 매우 심각하다”고 전했다. WP는 전문 영상 제작업체가 포르노를 만들고 공급하던 시대에서 구독자들이 음란물 콘셉트 등을 제안하는 주문형 방식의 ‘온리팬스(OnlyFans)’시대를 거쳐 조만간 소비자 스스로 포르노를 만드는 ‘AI 비스포크(맞춤 제작) 시대’가 도래한다고 진단했다. 그리고 실제 미국의 포르노 업계는 이미 생성형 AI 포르노를 만들기 위한 작업을 진행하고 있다.

과거 AI 딥러닝 기술로 정교하게 조작된 사진이나 영상물을 상업적 목적으로 유포하는 범죄행위는 정보통신망이용촉진 및 정보보호 등에 관한 법률(‘정보통신망법’) 제74조 제1항 제2호(음란물 유통 등 금지)나 형법 제244조(음화 제조 등) 위반죄 등으로 처벌되고 있다. 그럼에도 불구하고 딥페이크 음란물에 대한 형사처벌이 합당한 수준이라 보기는 어렵다는 비판이 있었고, 이에 2020년 6월 성폭력범죄의 처벌 등에 관한 특례법(이하 ‘성폭력처벌법’)에 ‘반포할 목적으로 딥페이크 음란물 편집·합성 또는 가공(‘제작’)하는 행위’를 처벌하는 규정(성폭력처벌법 제14조의2)을 신설했다. 

그러나 현행 딥페이크 음란물 처벌 조항(1항)은 ‘반포 등을 할 목적'을 구성요건으로 하므로 개인 소지 목적의 딥페이크 음란물 제작행위는 처벌 대상이 아니고, 유포자에 대한 처벌 조항(2항)은 목적범에 해당하는 1항의 성립을 전제로 하고 있어 반포 목적이 없이 제3자가 제작한 음란물을 유포한 행위에 대해서는 여전히 처벌공백이 존재한다. 특히 반포 목적이라는 것도 수사기관의 입장에서 그 입증이 쉽지 않다. 실제로 B가 직장동료 여성 C의 사회관계망서비스(SNS)에 업로드돼 있는 사진으로 음란물을 제작해 제3자에게 전송한 사안에서 당시 수사를 담당한 경찰은 유포 목적으로 영상을 제작했다는 사실에 대한 입증이 불충분하다고 보아 해당 사건을 불송치한 사례가 있다.

더욱이 이마저도 사후적인 처벌수단에 불과해 딥페이크 음란영상물의 부작용 차단과 피해자 구제에는 여전히 부족하다는 지적이 있다.

또한 텍스트로 명령어를 입력하면 고화질 동영상을 손쉽게 만들어내는 오픈AI의 ‘소라(Sora)’의 등장에서 볼 수 있듯, 새로운 유형의 서비스가 빠르게 등장하고 있는 AI 기술의 급격한 발전 속도를 감안하면 간단한 인물 특징 텍스트만으로도 현실의 인물을 구현하고 이를 음란물 영상 제작에 악용하는 생성형 AI 모델이 머지않은 시일 내에 상용화될 것으로 전망되나, 현행법은 ‘촬영물·영상물 또는 음성물’에 기초로 하지 않은 변종 AI 생성 음란물을 처벌·규제하지는 못한다. 

그나마 배현진 의원이 대표발의한 정보통신망법 개정안은 딥페이크 기술이 적용된 영상물 등에 대해서는 디지털 워터마크(Digital Watermark) 등을 하도록 하여 이용자가 인지할 수 있게 하는 한편, 당사자의 의사에 반하는 딥페이크 음란물 등에 대해서는 해당 영상물이 유통되는 정보통신서비스 제공자를 상대로 삭제를 요청할 수 있도록 했다. (의안번호 2114384, 발의연원일: 2022년 1월 13일).

이는 현행 정보통신망법은 피해자의 권리침해물 삭제 요청권을 규정하고 있는데(정보통신망법 제44조의2), 삭제대상인 권리침해물에 음란물이 명시적으로 포함돼 있지 않음에 따른 규율공백을 해소하고, 딥페이크 영상의 부작용 및 확산을 차단하고자 하는데 그 취지가 있다. 하지만 아직 입법화까지는 되지 않았다.

오픈AI는 자사의 이미지 생성 AI 도구 ‘달리3’가 만든 이미지에 라벨(label·꼬리표)을 부착한다고 해, ‘달리3’로 생성된 이미지에는 콘텐츠 출처와 진위 확인을 위한 연합(C2PA)의 워터마크가 부착될 예정이다. 

인텔(Intel)은 딥페이크를 판별하는 탐지도구로서 세계 최초로 가짜 동영상을 96%의 정확도로 판별하는 실시간 딥페이크 탐지기 페이크 캐처(Fake Catcher)를 개발했다. 구글도 신뢰할 만한 매체 15만 곳의 데이터를 토대로 검증하는 가짜점검탐색기(Fake Check Explorer)를 내놓았다.

네이버와 카카오 등 국내 플랫폼 기업 역시 AI이 만든 콘텐츠에 라벨을 붙일 예정이다. 즉, 네이버는 하이퍼클로바X 등 AI 생성 이미지 워터마킹 기술을 개발하고 있다. AI가 만들거나 편집한 이미지에 라벨을 붙여 식별하도록 지원하겠다는 것이다.  카카오도 카카오브레인의 AI 이미지 생성 모델인 ‘칼로’에 비가시성 워터마크 기술 도입을 검토하고 있다.

음란물 제작에 생성형 AI 기술이 본격적으로 활용될 경우 사회에 불러올 부정적인 파급력은 기존에는 경험하지 못한 수준이 될 것이다. 포르노 업계는 ‘어린이’, ‘추행’, ‘교복’ 등의 법적으로 문제가 되는 단어들을 AI 프롬프트에 입력하지 못하도록 하는 등 안전 장치를 마련하고 있다는 입장이지만 사용자가 표현의 방식만 바꿔서 얼마든지 묘사가 가능하기 때문에 쉽게 우회할 수 있다.

워터마크도 완벽한 해결책이 되기는 어렵다. 설계에 따라 감지될 수 있어 제거될 수 있고, 비디오 워터마킹의 경우 워터마킹이 비디오 프레임 전체에 걸쳐 있으면 일반적인 비디오 압축 방법에서 손실될 우려가 있으며, 텍스트의 경우 간단한 텍스트 편집을 통해 워터마킹이 쉽게 깨질 수 있기 때문이다. 

생성형 AI가 만들어 낼 맞춤형 음란물 범람으로 인한 폐해는 AI의 발전속도와 맞물려 가속화될 것으로 예상되지만 어떠한 국가도 이에 제대로 대비하는 법적·제도적 규제를 갖추고 있지는 않은 것으로 보인다. 그나마 미국이 비교적 빠르게 관련 규제를 도입하고 있지만, 그마저도 AI 딥페이크 이미지에 집중돼 있으며, AI 생성 포르노에 대한 논의는 사실상 시작되지 않았다는 평가이다. 생성형 AI의 기술적 발전을 저해하지 않으면서도, 생성형 AI가 음란물 제작에 활용됨에 따른 부작용을 억제·차단할 수 있는 사회적 합의 도출과 그에 따른 법적·제도적 정비가 절실하게 필요한 시점이다. 
 

<이근우 변호사 약력>

(현)법무법인(유) 화우 파트너변호사

(현)개인정보보호위원회 자문변호사

(현)대한변호사협회 ESG 특별위원회 위원

(현)산업통상자원부 산업기술분쟁조정위원회 위원

(현)한국정보법학회 회원

(현)산업기술보호협회 영업비밀보호 전문위원(강사)

(현)법무부 해외진출 중소기업 법률자문단 자문위원