AI 페이크(가짜) 사진 한 장이 자본시장의 상징인 미국 주식시장을 흔들었다. 미국 국방부 청사인 펜타곤 인근에서 22일 폭발이 발생했다는 사진이 소셜네트워크서비스(SNS)를 통해 급속도로 퍼진 것이다. 9·11 테러 당시를 떠올린 사람들이 주식을 투매했고, 그 여파로 한때 주가가 0.3% 하락했다.

상상해 보자. A라는 사람이 굴지의 상장 대기업 공장이 폭발했다는 사진을 SNS에 올린다. 그리고 주가가 내리면 바로 매수한다. 사실이 아닌 것으로 확인되면 주가는 회복된다. A는 상당한 주가 차익을 누린다.

최근 한 유명 경제패널이 라디오 방송에서 AI 딥페이크 목소리를 재현했다. 자신의 목소리를 기반으로 특정 문장을 입력해서 얻어낸 목소리다. 딥페이크 적용 목소리라는 것을 알고 있었음에도 구별이 쉽지 않았다. 페이크 사실을 몰랐다면 충분히 속았을 것이다.

또 상상해보자. 누군가 상당한 자산을 보유한 사람의 자녀 목소리를 AI로 위조해 급전이 필요하다고 부모에게 전화한다. 결과는 뻔하다. ‘보이스 피싱’은 피할 수 있지만 자식의 급전 요구를 의심하는 부모는 많지 않다. 문제는 일련의 작업에 큰돈이 소요되지 않는다. 마치 수십 년 전 ‘장난전화’를 걸듯이 누구나 악용할 소지가 있다.

AI의 놀라운 미래를 보여준 챗GPT 개발사 오픈AI 샘 울트먼 CEO는 최근 블로그에 ‘AI의 잠재적 위험과 부작용을 막기 위해 국제원자력기구(IAEA)와 같은 국제 감시기구가 필요하다’고 주장했다. 순간 필자는 다이너마이트를 발명한 알프레드 베르나르드 노벨이 오버랩 됐다. 그는 굴착 공사, 수로 발파 등 건설 편리를 위해 발명한 다이너마이트가 인명 살상용으로도 사용되는 것이 안타까워 전 재산을 기부해 노벨상을 만들었다.

원자력의 무서움은 누구나 안다. 울트먼 CEO가 AI를 원자력에 비유한 것은 그만큼 위험성이 크기 때문이다. 이는 분명 우리가 상상하지 못할 위험이다. 어찌 보면 AI는 원자력보다 더 위험할 수 있다. AI는 SW 결과물이다. 원자력처럼 실체가 없다. 어디서, 누가, 무엇을, 어떤 목적으로 개발하는지 알 수 없다. 막으려 해도 방도가 없다. 아무리 윤리를 강조한다고 해도 사람의 탐욕을 막지는 못한다.

해법은 찾아야 한다. 세계가 모여 대안을 모색해야 한다. 그게 IAEA와 같은 국제기구일 수 있다. 모든 기술과 아이디어를 공개하고 해법을 찾아야 한다. 그렇지 않으면 상상하지 못했던 상황이 충분히 발생할 수 있다는 것을 명심해야 한다.