생성AI, 범죄자들이 먼저 쓴다... 보이스 피싱, 신상털기, 신분도용

인공지능(AI)은 우리 삶에 편리함을 가져다주고 있지만, 악의적인 범죄에도 다양하게 활용되고 있습니다. 피싱이나 사기 등에 활용하기가 더 쉬워졌기 때문입니다.

보안회사인 트렌드 마이크로의 빈첸조 찬카글리니 선임 연구원은 MIT 테크놀로지 리뷰와의 인터뷰에서 "생성AI는 범죄자들이 그 어느 때보다도 더 효율적이고 국제적으로 활동할 수 있도록 하는 새로운 강력한 도구 키트를 제공한다"고 설명했는데요.

그는 "대부분의 범죄자들은 어두운 은신처에서 음모를 꾸미고 있는 것이 아니다"라며 "범죄자 대부분이 일반 사람들로, 특정 기술 대신 일반적인 생성AI 모델을 활용해 범죄 활동의 생산성을 높이고 있다"고 덧붙였습니다.

1. 피싱

범죄자들 사이에서 생성AI의 가장 큰 사용 사례는 '피싱'입니다. 피싱은 악의적인 목적으로 사용될 수 있는 민감한 정보를 사람들이 공개하도록 속이는 행위인데요. 챗GPT 등장 이후 피싱 이메일의 수가 크게 증가한 것으로 나타났습니다.

전문가들은 고메일 프로(GoMail Pro)와 같은 스팸 생성 서비스에 챗GPT 기능이 통합되어 있어, 범죄자들이 피해자에게 보내는 메시지를 번역하거나 더 그럴듯하게 만들고 있다고 지적합니다. 특히 과거 영어권 사용자들이 비영어권 범죄자들의 메시지를 쉽게 식별할 수 있었지만, 이제는 구분이 어려워졌다고 하는데요. AI 번역 덕분에 범죄 그룹이 더욱 잘 소통하게 됐다는 분석이 나옵니다.

2. 딥페이크 오디오 사기

생성AI는 딥페이크 사기에 큰 역할을 하고 있는데요. 합성 이미지, 비디오 및 오디오는 그 어느 때보다 더 현실감 있는 콘텐츠를 제공하고 있습니다. 실제 올해 초, 홍콩에서는 사이버 범죄자들이 회사 최고 재무 책임자의 딥페이크를 사용, 범죄자들의 계좌로 돈을 이체하도록 속여 2500만 달러의 피해를 본 사건이 발생하기도 했습니다.

실제 텔레그램과 같은 플랫폼에서는 딥페이크 '포트폴리오'를 갖추고 있으며 이미지는 장당 10달러, 비디오는 1분에 500달러에 판매가 이뤄지고 있다고 하는데요. 딥페이크 비디오와 달리 오디오 딥페이크는 제작 비용이 저렴하고, 몇 초 분량의 목소리만으로도 매우 설득력있게 모방이 가능해 피해를 키우고 있습니다.

3. 신원 확인 우회

범죄자들이 딥페이크를 사용하는 또 다른 방법은 신원 확인 시스템을 우회하는 것입니다. 은행이나 암호화폐 거래소는 고객이 실제 사람인지 확인하기 위해 이러한 시스템을 사용하고 있는데요. 해당 시스템은 이용자가 신분증을 들고 카메라 앞에서 사진을 찍도록 요구합니다. 범죄자들은 텔레그램과 같은 플랫폼에서 이런 요청을 우회할 수 있는 앱을 판매하고 있는 것으로 드러났습니다.

해당 앱들은 가짜나 도난된 신분증을 제공하고, 휴대폰의 카메라에서 실제 사람의 얼굴 위에 딥페이크 이미지를 씌워 신원 확인 시스템을 속이고 있다고 하는데요. 이런 서비스는 암호화폐 사이트인 바이낸스 등에서 70달러에 판매되는 사례가 발견되기도 했습니다. 업계에서는 "미래에는 범죄자들이 실제 딥페이크를 사용해 더 복잡한 인증을 할 수 있을 것"이라고 예상하고 있습니다.

4. 서비스형 탈옥

AI 회사들은 모델이 유해하거나 위험한 정보를 유출하지 못하도록 다양한 보호 장치를 마련하고 있는데요. '탈옥(Jailbreak)'을 범죄에 활용하는 사례도 등장하고 있습니다. 탈옥은 인공지능으로부터 비윤리적인 답변을 도출하는 것을 의미하는데요. 사이버 범죄자들은 '서비스형 탈옥'이라는 새로운 추세를 이용하고 있습니다.

대부분의 모델에는 사용 방법에 대한 규칙이 있는데요. 탈옥을 통해 사용자는 AI 시스템을 조작해 해당 정책을 위반하는 출력을 생성할 수 있습니다. 예를 들어 랜섬웨어용 코드를 작성하거나 사기 이메일에 사용될 수 있는 텍스트를 생성하는 방식입니다.

실제 이스케이프GPT(EscapeGPT), 블랙햇GPT(BlackhatGPT)와 같은 서비스는 자주 업데이트되는 언어 모델 API, 그리고 탈옥을 위한 프롬프트 정보를 액세스할 수 있다고 하는데요. 이런 사례에 대응하기 위해 오픈AI와 구글과 같은 AI기업들이 골머리를 앓고 있습니다.

5. 신상 털기 및 감시

AI 언어 모델은 피싱뿐만 아니라 신상 털기에도 악용되고 있습니다. 온라인에서 누군가에 대한 개인 식별 정보 공개하는 행위인데요. 이는 AI 언어 모델이 개인 데이터를 포함한 방대한 양의 인터넷 데이터를 학습하기 때문입니다.

가령 챗봇에게 프로파일링 경험이 있는 사립 탐정인 것처럼 요청할 수도 있는데요. 그런 다음 피해자가 작성한 텍스트를 분석하고, 해당 텍스트의 작은 단서에서 개인 정보를 추론하도록 요청할 수 있다는 겁니다. MIT 테크놀로지 리뷰는 "인터넷에 이들에 대한 정보가 많을수록 신원이 노출될 위험이 더 커진다"고 전했습니다.

범죄자들은 디지털 기술을 좋아합니다. 최신 기술을 악용, 언재든지 범죄에 활용할 준비가 돼 있습니다. 이들은 어린이, 노약자 등 디지털 취약 계층을 집중적으로 노립니다.

범죄자들은 생성AI 기술을 사용, 더욱 현실적이고 설득력 있는 피싱 이메일을 제작하고 딥페이크 기술을 사용, 목소리나 영상을 변조하여 피해자를 속이고 있는 상황입니다. 기존 범죄에 비해 더욱 악질이고 정교하며, 피해 규모 또한 클 수밖에 없습니다.

생성AI 기술의 악용을 예방하기 위해 선제적 대응이 시급합니다.

우선, 보안을 강화해야 합니다. 딥페이크 콘텐츠 식별 및 제거 기술 개발과 신원 확인 시스템 강화 등 신기술 도입을 병병해야 합니다.

무엇보다 생성AI 기술의 윤리적 사용을 위한 사회적 논의가 시급합니다. 또 디지털 범죄자들이 '국제적'이라는 점에서 글로벌 차원의 관련 법규 및 규제, 국제 협력 강화가 필요합니다.

무엇보다 오픈AI 등 생성AI 기술 업체들이 윤리적 책임을 다해야 합니다. 생성AI 기술의 악용 방지를 위한 기술 개발 및 투자와 교육 및 인식 개선에 앞장서야 할 것입니다.