|
SK쉴더스, AI 레드팀 해킹대회서 1위…"AI 판단 교란 위험 검증"
이번 대회는 AI 에이전트가 금지된 행동을 수행하거나 필수 안전 조치를 누락하도록 유도하는 공격 기법을 평가하는 방식으로 진행됐다. 생성형 AI가 행정, 공공서비스, 산업 현장 등으로 확산되는 가운데 AI의 판단을 왜곡하는 새로운 보안 위협을 검증하기 위해 마련됐다.
대회는 응급환자 분류 오류, 댐 수위 판단 왜곡, 항공기 이상 징후 미탐지 등 실제 산업 환경을 반영한 8개 시나리오로 구성됐다. AI 판단 오류가 발생할 경우 응급실에서 중증 환자의 우선순위가 뒤바뀌거나 항공기 이상 신호가 정상으로 판단되는 등 인명 피해로 이어질 수 있는 상황을 가정했다.
김 선임은 이미지, 음성, 영상 등 다양한 입력을 활용하는 '멀티모달 프롬프트 인젝션' 공격으로 AI 판단을 교란해 최고 성적을 기록했다. 이미지 내부에 잘못된 행동을 유도하는 문구를 숨기거나 특정 행위를 강요하는 방식으로 AI가 기존 규칙을 따르지 않도록 유도했다.
특히 실제 시스템 로그처럼 보이도록 입력을 설계하고, 시스템 프롬프트에 정의되지 않은 예외 상황을 공략해 공격 성공률을 높였다는 설명이다.
EQST 소속 마준영 선임과 김신우 선임도 각각 5위와 7위를 기록했다. EQST는 폰투온 오토모티브, 블랙햇, 데프콘, 드림핵 해킹방어대회 등 국내외 주요 보안 대회에서 성과를 내고 있다.
SK쉴더스는 이번 성과를 바탕으로 AI 레드팀 역량을 강화한다는 방침이다. EQST는 침해 대응 경험과 위협 인텔리전스를 기반으로 실제 공격을 가정한 레드팀 서비스를 제공하고 있으며, 'OWASP Top 10 for LLM'을 반영한 자체 프레임워크를 통해 AI 시스템 취약점 점검과 대응 전략 수립을 지원하고 있다.
김병현 SK쉴더스 EQST Lab팀 선임은 "AI 판단을 교란하는 공격 가능성을 실제로 검증하고 그 결과가 AI 안전성 연구로 이어진다는 점에서 큰 보람을 느낀다"며 "앞으로도 새로운 AI 위협에 대응하는 연구를 지속해 나가겠다"고 말했다.
김병무 SK쉴더스 사이버보안부문장 부사장은 "생성형 AI가 산업 전반으로 확산되면서 AI 보안은 선택이 아닌 필수 역량이 되고 있다"며 "이번 대회에서 검증한 AI 레드팀 역량을 바탕으로 고객이 AI를 안전하고 신뢰성 있게 활용할 수 있도록 지원하겠다"고 밝혔다.
이번 대회는 AI 안전성 전문 스타트업 에임인텔리전스와 인공지능안전연구소가 공동 주최했다. 지난 4월 6일부터 약 8주간 진행됐다. 최신 AI 모델 기반으로 실제 산업 시나리오를 적용해 운영됐고 글로벌 보안 조직, AI 기업, 연구기관 등이 참여했다.
김평화 기자 peace@mt.co.kr
Copyright ⓒ 머니투데이 & mt.co.kr. 무단 전재 및 재배포, AI학습 이용 금지.
|
|