정부가 선거를 겨냥한 인공지능(AI) 기반 딥페이크 영상·음성 조작 범죄에 대응하기 위해 탐지 기술을 본격적으로 선거 현장에 적용한다. 선거 기간 급증하고 있는 AI 합성 가짜뉴스를 차단해 유권자의 판단 왜곡을 막겠다는 취지다
.
행정안전부는 국립과학수사연구원과 공동 개발한 ‘AI 딥페이크 탐지 분석 모델’을 오는 6월3일 실시되는 제9회 전국동시지방선거에 활용할 계획이라고 10일 밝혔다. 해당 모델은 선거 기간 유통되는 의심 콘텐츠를 신속하게 분석해 진위 여부를 가리는 데 활용될 예정이다.
최근 생성형 AI 기술이 빠르게 확산되면서 특정 인물의 얼굴이나 음성을 정교하게 합성한 딥페이크 범죄가 급증하고 있다. 특히 선거 과정에서 후보자의 발언이나 행동을 조작한 영상·음성이 온라인에서 확산될 경우 유권자의 판단을 크게 왜곡할 수 있다는 우려가 제기돼 왔다.
실제로 선거 기간 딥페이크 기반 불법 선거물은 급격히 늘어난 것으로 나타났다. 중앙선거관리위원회에 따르면 2024년 제22대 총선 당시 딥페이크 영상 삭제 요청은 388건이었으나, 지난해 제21대 대통령선거 기간에는 1만510건으로 크게 증가했다.
이번에 개발된 탐지 모델은 영상의 전체 흐름을 분석하는 ‘전역 분석’과 얼굴 등 특정 부위의 조작 흔적을 정밀하게 확인하는 ‘국소 분석’을 동시에 수행하는 방식이다. 이를 통해 탐지 정확도를 높였으며, 최신 생성형 AI 기반 콘텐츠까지 식별할 수 있도록 설계됐다. 검증 결과 약 92% 수준의 탐지 정확도를 기록했다.
이 기술은 지난해 12월 열린 ‘딥페이크 범죄 대응을 위한 AI 탐지 모델 경진대회’ 성과를 기반으로 개발됐다. 당시 대회에는 268개 팀, 1077명이 참여했으며, 행안부와 국과수는 이 가운데 선정된 5개 우수 모델을 중앙선거관리위원회에 제공해 선거 기간 감정 지원 체계를 운영할 예정이다.
정부는 향후 AI 딥페이크 분석 모델의 활용 범위도 확대한다는 방침이다. 행정안전부와 국과수는 성평등가족부, 방송통신위원회, 경찰청 등 관계 부처와 협력해 범정부 차원의 디지털 범죄 대응 체계를 구축하고 과학수사 역량을 강화할 계획이다.
윤호중 행정안전부 장관은 “딥페이크를 활용한 가짜뉴스는 단순한 기술 문제가 아니라 민주주의를 위협할 수 있는 새로운 정보 범죄”라며 “선거 과정에서 허위·조작 정보에 대한 대응 역량을 지속적으로 높여 국민의 권리가 침해되지 않도록 하겠다”고 말했다.
