|
"AI 에이전트도 내부자처럼 감시해야"…MS, 새 보안 접근법 제시
마이크로소프트는 20일 AI 에이전트의 활동과 위험을 실시간으로 파악하고, 위험 수준에 따라 행동 권한을 조정하는 보안 체계를 제시했다.
최근 기업에서는 AI 에이전트가 데이터와 각종 시스템에 접근해 업무를 처리하고 의사결정에도 관여하고 있다. 마이크로소프트는 이처럼 기업 내부에서 실제 행동하는 AI를 '에이전틱 내부자'로 정의했다.
기존 AI 보안은 공격자가 AI를 악용하는 외부 위협에 주로 초점을 맞췄다. 반면 기업이 직접 배포한 AI 에이전트는 상대적으로 신뢰하는 경우가 많았다.
마이크로소프트는 자체적으로 배포한 AI라고 해도 무조건 신뢰해서는 안 된다고 강조했다. 목표 달성에 지나치게 최적화되는 과정에서 의도하지 않은 방식으로 행동하는 '보상 해킹(Reward Hacking)'이 나타날 수 있기 때문이다.
AI 에이전트가 상황에 적응하는 과정에서 예상과 다르게 행동하거나 다른 에이전트와 협업하면서 새로운 위험을 만들 가능성도 있다고 봤다.
이에 따라 AI 에이전트의 행동을 상시 감시하는 '가디언 에이전트(Guardian Agents)'의 필요성도 제시했다. 가디언 에이전트는 다른 AI 에이전트의 행동을 실행 전부터 지속적으로 점검하고 위험이 높아지면 대응한다.
마이크로소프트는 지난 7월 공개한 '프로젝트 퍼셉션(Project Perception)'을 에이전틱 내부자 관리에도 활용할 수 있다고 설명했다.
프로젝트 퍼셉션은 기업 내 AI 에이전트를 탐지한 뒤 ID와 권한을 부여하고, 행동에 따른 위험도를 실시간으로 산정한다. 위험 수준이 높아지면 가디언 에이전트가 행동을 제한하거나 대응하는 구조다.
보호 대상도 AI 모델에만 한정하지 않는다. ID와 권한, 데이터, 엔드포인트, 네트워크, 클라우드, 런타임 등 AI 에이전트가 연결되는 전체 시스템을 함께 보호해야 한다고 강조했다.
AI가 왜 특정 행동을 했는지 확인할 수 있는 투명성도 중요하다고 봤다. 단순히 입력과 출력만 확인하는 것을 넘어 결과가 만들어진 과정까지 추적할 수 있어야 위험 판단과 책임 소재를 명확히 할 수 있다는 설명이다.
하예테 갈로트 마이크로소프트 시큐리티 총괄 수석 부사장은 "AI 에이전트가 기업 전반에 빠르게 확산되면서 데이터와 도구, 시스템에 접근해 중요한 업무를 수행하고 의사결정에도 관여하고 있다"며 "기업은 에이전트의 활동과 위험을 실시간으로 파악하고 위험 변화에 따라 행동 권한을 지속적으로 조정해야 한다"고 말했다.
김평화 기자 peace@mt.co.kr
Copyright ⓒ 머니투데이 & mt.co.kr. 무단 전재 및 재배포, AI학습 이용 금지.
|
|