생성형 AI 도입 따른 보안 위협 대응 어디까지 왔나

딥페이크 등 LLM 활용 사기 확산 중…기업 행보 주목

지펑 카이 교수 “정기 점검·업데이트로 잠재 위험 선 발견해야”

[SRT(에스알 타임스) 문재호 기자] 생성형 인공지능(AI)과 거대언어모델(LLM)을 비롯한 다양한 AI 기술이 산업 전반에 확산되고 있다. 해당 기술들을 기반으로 한 사이버 위협과 기술 자체의 결함을 노린 공격들도 한층 더 거세질 전망이다. 이에 정보보안 기업들은 LLM 활용 시 발생할 수 있는 보안 위협 방지 서비스와 솔루션을 준비 중이다.  

27일 업계에 따르면 안랩은 최근 ‘2025년 5대 사이버 보안 위협 전망’을 발표하며 생성형 AI를 기반으로 한 공격이 확산될 것으로 내다봤다. 이에 더해 프로그램과 시스템의 ‘취약점 발견’, 시스템 환경을 학습해 탐지 회피를 시도하는 ‘적응형 멀웨어’ 제작에도 LLM이 악용될 것으로 보고 있다. 

해외에서는 생성형 AI가 범죄에 활용되는 사례가 발견되고 있다. 지난 2월 홍콩 금융사 직원은 딥페이크 영상에 속아 2억 홍콩달러(약 340억원)를 송금하는 사기를 당했다. 홍콩 지부에서 일하는 직원이 영국 회사 최고재무책임자(CFO)로부터 거액의 돈을 송금하라는 이메일을 수신한 뒤 화상회의에 참여한 동료들이 CFO의 이메일과 같은 이야기를 주고받은 것을 본 뒤 의심을 풀고 돈을 송금했다. 하지만 이 직원이 화상회의에서 본 동료들의 모습이 모두 딥페이크로 꾸며낸 가짜였고, 뒤늦게 거래 사실을 본사에 확인하는 과정에서 속았다는 사실을 알게 됐다. 

이처럼 생성형 AI로 사이버범죄 접근성이 높아짐에 따라 기업들은 이를 막을 수 있는 서비스 출시에 힘을 쓰고 있다.

먼저 이스트시큐리티는 LLM 사용 시 발생할 수 있는 각종 보안 위협을 방지하는 솔루션을 내년 초 선보일 예정이다. 직장인들이 오픈AI의 챗GPT나 마이크로소프트의 클라우드 플랫폼 서비스 애저 등 LLM을 활용하면서 개인 정보가 서버에 넘어가 유출되는 경우가 생기고 있는 데 따라 이를 대응하기 위한 취지다. 이스트시큐리티의 AI 보안 솔루션은 ‘알약xLLM’으로 현재 ‘예고편(프리뷰)’까지 마련된 상태라는 게 회사 측의 설명이다. 이스트시큐리티는 현재 공기업에 알약xLLM 사업화검증(PoC)을 완료하고 이를 공급하고 있으며 내년 1분기 중 정식 출시할 예정이다.

SK쉴더스는 다음 달 안으로 ‘AI LLM 점검 및 보안 가이드’를 공개할 예정이다. LLM 활용 시 발생할 수 있는 보안 위협과 관련된 컨설팅 서비스를 제공하기 위한 목적이다. LLM을 활용하는 곳은 통상 어느 정도 규모의 경제가 나올 수 있는 기업이 대부분이기에 ‘기업과기업간(B2B)’ 시장을 적극 노린다는 전략이다.

이글루코퍼레이션의 AI 탐지모델 서비스 ‘에어(AiR)’는 생성형 AI의 편향성, AI 알고리즘 오염, AI 타깃 공격, 민감 데이터 외부 유출 등의 문제점을 최소화하며, AI의 혜택을 누릴 수 있도록 지원하고 있다.

지펑 카이 조지아 주립대 컴퓨터공학부 교수는 “적대적 세력의 생성형 AI활용의 위협이 있을 뿐만 아니라 AI모델 자체도 취약점이 있어 해커들은 적대적 공격으로 처리 중인 데이터를 교란해 시스템을 오작동하게 만들 수 있다”며 “해커의 AI 모델 탈취, 훈련 데이터 오염, 기기마다 다른 보안 기준으로 인한 취약성 발생을 주의할 필요가 있다”고 말했다. 

지펑 카이 교수는 이어 “사물인터넷(IoT) 시스템에 개인 데이터를 보호하는 핵심 방안으로 ▲암호화 ▲익명화 ▲접근 제어 ▲지속적인 모니터링 등의 정기적 점검과 업데이트로 잠재적 위험을 미리 발견하는 것이 필요할 것”이라고 했다.