|
과기정통부, "국가대표 AI "오픈북 테스트" 없었다"…의혹 일축
18일 류제명 과기정통부 제2차관은 독자 AI 파운데이션 모델 프로젝트 2차 단계 평가 결과를 발표하는 자리에서 "벤치맥싱과 관련해 벤치마크 평가기관인 아티피셜 애널리시스(AAII)사에 공식 질의한 결과, AAII가 좋은 점수를 얻기 위해 시험을 잘 보려는 여러 시도를 차단해왔다"면서 "AAII가 해당 사안에 대해 검토한 결과 (벤치맥싱과 관련해) 큰 문제가 없다는 답변을 받았다"고 밝혔다.
벤치맥싱은 벤치마크에서 높은 점수를 받기 위해 공개된 평가 방식이나 특정 문제 유형에 맞춰 모델을 최적화해 튜닝하는 행위를 뜻한다. 즉, 시험 문제를 미리 알고 오픈북 테스트를 한 것이나 마찬가지라는 뜻이다.
벤치맥싱 논란은 온라인 개발자 커뮤니티 등에서 먼저 제기됐다. 미국 AI 학습 전문업체 애프터쿼리(AfterQuery) 등이 지난달 서울에서 열린 국제머신러닝학회(ICML) 2026에서 독파모 참여기업들에게 모델 학습에 필요한 데이터나, 사후 학습 기술 등에 대한 협력을 제안한 것으로 알려진 것이 계기다.
김소연 기자 nicksy@mt.co.kr 박건희 기자 wissen@mt.co.kr
Copyright ⓒ 머니투데이 & mt.co.kr. 무단 전재 및 재배포, AI학습 이용 금지.
|
|