인공기능(AI)을 악용한 위협이 갈수록 증가하는 가운데, 구글이 이에 대처한 사례를 최근 공개했다.
구글 위협정보그룹(Google Threat Intelligence Group)은 사이버 범죄자들이 어떻게 AI 플랫폼을 표적으로 삼고 있는지 관찰한 내용과 이러한 기술적 진화에 대응하기 위해 구글이 취한 조치를 담은 ‘AI 위협 보고서’를 최근 발간했다.
이번 보고서는 위협 행위자들이 생산성 향상 도구로서 AI를 사용하는 것을 넘어서, 혁신적 AI 기능을 공격에 활용할 가능성을 실험하고 있다고 전했다. 중국, 북한, 러시아, 이란 등지의 위협 행위자들은 멀웨어 실행부터 소셜 엔지니어링 프롬프트 작성, AI 도구 판매까지 작전의 각 단계를 성공적으로 수행하기 위해 AI를 전방위적으로 사용하고 있다고 소개했다.
구글 위협정보그룹은 이번 보고서를 통해 위협 행위자의 AI 활용을 차단하고 저지하는 방법뿐 아니라, 대규모의 사용자를 보호하기 위해 구글의 안전·보안 보호 체계와 정책에 위협 인텔리전스를 반영한 정교한 조치를 공유한다고 설명했다.
- 멀웨어의 ‘저스트 인 타임(Just-in-Time)’ AI 사용: 프롬프트플럭스(prompt flux)나 프롬프트스틸(prompt steal)과 같은 멀웨어가 실행 중에 대규모 언어 모델(LLMs)을 활용하는 사례를 확인했다. 이러한 도구는 악성 스크립트를 동적으로 생성하고, 자체 코드를 난독화해 탐지를 회피하며, 멀웨어에 악의적 기능을 미리 하드코딩(hard-coding)하는 대신 AI 모델을 통해 요청에 따라 기능을 생성한다. 이러한 양상은 아직은 초기 단계이지만, 더욱 자율적이고 유연한 멀웨어로 발전할 가능성을 시사한다.
- 소셜 엔지니어링을 통한 안전장치 우회: 위협 행위자들은 AI의 안전장치를 우회하기 위해 소셜 엔지니어링 기법을 프롬프트에 적용하고 있다. 예를 들어 위협 행위자들이 해킹 대회 참가 학생이나 사이버 보안 연구원으로 가장해 제미나이(Gemini)가 원래 차단하도록 설계된 정보를 제공하도록 설득하여 도구를 개발하는 사례도 확인했다.
- 불법 AI 도구를 둘러싼 사이버 범죄 시장의 성숙화: 지하 시장에서는 피싱, 멀웨어 개발, 취약점 연구 등을 지원하도록 설계된 다기능 AI 도구들이 다수 유통되며, 이러한 생태계는 비교적 기술 수준이 낮은 공격자들의 진입 장벽을 낮추고 있다.
- 공격 라이프사이클 고도화: 북한, 이란, 중국 등으로 알려진 국가 지원 공격자들은 정찰이나 피싱 미끼 제작부터 C2(Command and Control) 개발, 데이터 유출에 이르기까지 작전의 모든 단계를 고도화하기 위해 제미나이를 포함한 AI 도구를 지속적으로 악용하고 있다.
구글 위협정보그룹 기술 리드인 빌리 레오나드(Billy Leonard)는 “공격자들은 주류 AI 플랫폼을 활용려 시도하고 있지만, 이러한 플랫폼에는 안전장치가 있기 때문에 공격자들은 지하 사이버 범죄 시장에서 쉽게 구할 수 있는 AI 모델로 눈을 돌리고 있다”라며 “제한 없이 이용할 수 있는 도구들은 기술 수준이 낮은 공격자들에게도 상당한 이점을 제공한다”고 말했다. 그는 “현재 다수의 악성 도구가 유통되고 있어 범죄자들의 진입 장벽이 낮아질 것으로 예상된다”고 덧붙였다.
댓글 작성