| 프린트하기 닫기 | www.38.co.kr |
투명성 논란에 '독파모' 세부 순위 공개…사용자는 SKT·LG 택했다
 과학기술정보통신부가 당초 비공개했던 ‘독자 AI 파운데이션 모델’(독파모) 2차 평가 세부 지표와 순위를 공개했다. 사용자 평가에서 전문가들은 SK텔레콤에 가장 높은 점수를 줬고, 일반 평가단은 LG AI연구원 모델 사용성을 좋게 평가했다. 과기정통부는 20일 독파모 2차 단계 평가 항목별 1위 기업과 점수를 밝혔다. 당초 기업 낙인 효과를 고려해 해당 항목을 비공개하기로 했지만, 투명성 논란이 나오자 1차 평가 때와 동일한 수준에서 세부 지표를 공개하기로 했다. 다만 기업별 총점과 전체 순위는 공개하지 않았다. 2차 단계평가는 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점 등 총 100점으로 진행됐다. 글로벌 벤치마크는 모티프테크놀로지스가 가장 앞섰지만 국내 벤치마크에선 SK텔레콤 정예팀이 1위를 차지한 것으로 나타났다. 글로벌 AI 성능을 측정하는 AAII(Artificial Analysis Intelligence Index) 벤치마크에서는 모티프테크놀로지스 정예팀이 25점 만점에 11.9점으로 최고점을 기록했다. 4개 팀 평균은 9.48점이었다. 수학·지식·장문이해·안전성·신뢰성·한국어·지시이행 등을 평가한 NIA 벤치마크는 15점 만점에 SKT 정예팀이 13.4점으로 가장 앞섰다. 4팀의 평균 점수는 13.05점이었다. 개발 전략 및 기술 10점, 개발 성과 및 계획 10점, 파급효과 및 기여계획 15점이 반영된 전문가 평가 점수는 LG AI연구원 정예팀이 29.5점으로 1위를 차지했다. 4팀의 평균 점수는 28.75점이었다. 사용자 평가는 AI 모델의 활용성과 정예팀의 AI 서비스 역량 평가 등을 확인하기 위해 AI 전문 사용자진 평가(배점 15점)와 일반 국민 평가(배점 10점)로 구성했다. 평가의 공정성을 높이기 위해 과기정통부는 평가단 대상 프롬프트 가이드라인과 AI 사용 웹사이트 내 정예팀별 AI 모델 평가 순서를 무작위로 제공했으며 일정시간(최소 3분) 이상의 충분한 사용자 평가를 지원했다고 설명했다. 49명의 AI 스타트업 대표가 참여한 AI 전문 사용자진 평가 점수는 SK텔레콤 정예팀이 15점 만점에 11.6점으로 최고점을 득점했다. 4팀의 평균 점수는 10.53점이었다. 185명이 참여한 일반 국민 평가단 평가 점수는 10점 만점에 LG AI연구원 정예팀이 7.6점으로 1위를 기록했다. 4팀의 평균 점수는 7.03점이었다. 과기정통부는 “독파모 프로젝트는 단순한 순위 경쟁이나 탈락 팀 선정을 목적으로 하는 것이 아니라, 우리 AI 기업들이 경쟁을 넘어 성장하고, 국내 AI 생태계의 질적 성장과 확장을 견인하는 것이 취지”라며 “앞으로도 과기정통부는 독파모 정예팀을 비롯한 다양한 기업들이 이번 프로젝트의 결과에 머무르지 않고, 각자의 AI 모델과 기술을 지속적으로 발전시켜 국내 AI 생태계에서 그 가치를 인정받고 실제 현장에서 활용·확산할 수 있도록 정책적 지원을 확대하겠다”고 밝혔다. <저작권자 ⓒ 이투데이 무단전재/재배포 금지>
|
| 프린트하기 닫기 | www.38.co.kr |