인공지능 리스크가 확산되면서, 가디언 에이전트(Guardian Agents)가 인공지능 프로세스의 신뢰성과 보안을 보장하는 핵심 기능을 수행할 것으로 기대되고 있다.
정보기술 컨설팅 업체인 가트너(Gartner)에 따르면, 2030년까지 가디언 에이전트 기술은 전체 에이전틱 인공지능(자율 행동형 인공지능) 시장의 최소 10~15%를 차지할 것으로 전망된다.
가디언 에이전트는 인공지능과의 신뢰할 수 있고 안전한 상호작용을 지원하기 위해 설계된 인공지능 기반 기술이다. 이는 콘텐츠 검토, 모니터링, 분석 등의 업무를 수하는 인공지능 어시스턴트 기능을 하며, 동시에 반(半) 자율 또는 완전 자율형 에이전트로 진화해 행동 계획을 수립하고 실행한다. 또한, 필요 시, 사전에 정의된 목표에 따라 특정 행동을 차단하거나 조정할 수 있는 제어 능력도 함께 제공한다.
에이전틱 AI와 안전장치
가트너가 지난 5월 진행한 웨비나에서 147명의 정보화책임자(CIO)와 정보기술 부문 리더를 대상으로 실시한 설문에 따르면, 응답자의 24%는 10개 미만의 인공지능 에이전트를 이미 배포했으며, 4%는 10개 이상을 배포한 상태라고 응답했다.
해당 조사에서 응답자의 50%는 인공지능 에이전트 기술을 조사하거나 실험 중이며, 17%는 아직 도입하지 않았지만 늦어도 2026년 말까지 도입할 계획으로 나타났다.
인공지능 에이전트가 안전성과 신뢰성을 유지하기 위해서는 자동화된 신뢰, 리스크, 보안 통제 체계가 필요하며, 이는 가디언 에이전트의 필요성과 등장을 가속화하고 있다는 분석이다.
가트너 수석 애널리스트인 아비바 리탄(Avivah Litan)은 “에이전틱 인공지능은 적절한 안전장치가 없다면 원치 않는 결과를 초래할 수 있다”며 “가디언 에이전트는 인공지능 에이전트의 전체 기능을 감시, 관리하며, 실행 중 이루어지는 의사결정과 리스크 관리를 균형 있게 수행한다”고 말했다.
에이전트의 권한 커질수록 리스크도 증가
이번 웨비나 참석자 125명 중 52%는 인공지능 에이전트의 주요 활용 사례가 정보기술, 인사관리, 회계 등 내부 행정 기능이라고 답했으며, 23%는 외부 고객 대응 기능에 집중하고 있다고 응답했다.
인공지능 에이전트 활용 사례가 확대됨에 따라, 다양한 위협 범주도 함께 발생하고 있다.
- 입력 조작과 데이터 포이즈닝(data poisoning): 에이전트가 조작되거나 오해된 데이터를 기반으로 작동.
- 자격 증명 탈취와 오용: 권한 없는 제3자가 에이전트를 조작해 데이터를 탈취하거나 통제 권한을 획득.
- 가짜 또는 범죄성 웹사이트와의 상호작용: 유해한 출처로부터 잘못된 행동을 학습하거나 실행.
- 내부 오류나 외부 요인에 의한 에이전트의 편향 또는 예기치 못한 행동: 평판 훼손이나 운영 중단을 초래할 수 있음.
리탄 수석 애널리스트는 “인공지능 에이전트의 급속한 확산과 자율성 증대는 기존의 전통적인 인간 중심 감독 체계를 넘어서는 전환이 필요하다”고 말했다. 그는 “기업이 복잡한 다중 에이전트 시스템을 도입하고, 에이전트들 간에 초고속으로 상호작용이 이루어지게 되면, 인간은 오류나 악의적 행위의 속도를 따라잡을 수 없다”면서, “이러한 고조되는 위협 환경은 가디언 에이전트의 시급한 필요성을 더욱 부각시킨다”고 강조했다.
가트너는 CIO와 보안/인공지능 리더가 주목해야 할 가디언 에이전트의 3대 주요 활용 유형으로 ▲리뷰어(Reviewers) ▲모니터(Monitors) ▲보호자(Protectors)를 제시했다.
리뷰어는 인공지능이 생성한 출력물이나 콘텐츠를 정확성과 적정성 측면에서 식별하고 검토한다. 모니터는 인공지능과 에이전트의 행동을 관찰하고 추적하여, 인간 또는 인공지능이 후속 조치를 취할 수 있도록 지원한다. 보호자는 인공지능과 에이전트의 행동이나 권한을 자동화된 방식으로 조정하거나 차단하는 기능을 수행한다.
가트너는 이러한 사용 유형과 관계없이, 가디언 에이전트는 모든 상호작용과 이상 징후를 통합적으로 관리하는 것이 핵심 기능이라고 설명했다. 또한 2028년까지 전체 인공지능 애플리케이션의 70%가 다중 에이전트 시스템을 활용하게 될 것으로 예측했다.
댓글 작성