38stock 뉴스속보

www.38.co.kr

2026년 08월 28일 10:49 김평화 기자

크래프톤, "AI 협업" 평가 솔루션 "Cofa-Probe" 현장 검증

OpenAI Codex 활용한 "메타 하네스"로 평가 재현성과 변별력 강화
AI Native 해커톤 "Cofathon"에 적용…인재 평가의 새로운 가능성 확인

크래프톤이 AI와 함께 문제를 해결하는 전 과정을 평가하는 AI 네이티브 채용·평가 솔루션 '코파-프루브(Cofa-Probe)'를 실제 해커톤에 적용했다.

28일 크래프톤에 따르면 크래프톤이 자체 개발한 Cofa-Probe는 완성된 결과물뿐 아니라 지원자가 AI와 일하는 과정까지 평가하는 솔루션이다. 문제 정의부터 AI에 대한 역할 배분과 지시, 근거 탐색, 의사결정, 오류 수정, 결과 검증까지 전 과정을 분석한다.

지원자는 실제 업무와 비슷한 환경에서 여러 업무 에이전트와 협업한다. Cofa-Probe는 이 과정에서 발생한 대화와 프롬프트, 코드, 도구 설정, 검증 기록 등을 자동으로 수집한다. 과제 종료 후에는 지원자가 결과물과 의사결정 과정을 설명하는 사후 Q&A를 진행하며, 시스템은 이를 종합해 평가 결과와 면접 참고 리포트를 만든다.

평가는 △기술 관리(Technique) △의도 관리(Intent) △인지 관리(Cognition) 등 세 축을 중심으로 이뤄진다. 코드의 실행성과 구조, 보안뿐 아니라 AI에 목표와 제약을 정확하게 전달했는지, AI가 만든 결과를 직접 검증하고 수정했는지, 결과의 작동 원리와 실패 가능성을 설명할 수 있는지를 함께 살펴본다.

Cofa-Probe의 핵심 기술은 평가 AI를 다시 평가하는 '메타 하네스(meta-harness)'다. 대규모언어모델(LLM) 기반 평가는 같은 제출물에도 결과가 달라지거나, 제출물 사이의 실제 역량 차이를 놓칠 수 있다. 크래프톤은 OpenAI의 Codex를 활용해 평가 에이전트의 실행 구조를 반복적으로 시험하고 개선했다.

같은 제출물을 여러 번 평가해 점수와 등급이 안정적으로 반복되는지 확인하고, 완성도와 접근 방식이 다른 제출물을 제대로 구분하는지도 점검했다. 평가 기준과 점수 환산처럼 일관성이 필요한 부분은 코드가 담당한다. 맥락을 이해해야 하는 정성적 판단은 LLM 기반 평가 에이전트가 맡았다.

Cofa-Probe는 지난 7월 30일 서울 성수동 펍지성수에서 열린 채용 연계형 AI 네이티브 해커톤 'Cofathon: AI Native Battlegrounds'에 적용됐다. 크래프톤과 CJ올리브영이 공동 개최하고 OpenAI가 기술 협력사로 참여했다. 행사는 크래프톤 FDE(Forward Deployed Engineer) 트랙과 CJ올리브영 AI 엔지니어 트랙으로 진행됐다.

참가자들은 실제 업무의 비효율을 AI로 해결하는 과제를 수행했다. 크래프톤은 과제 수행부터 제출까지 참가자의 AI 협업 과정을 수집하고 실시간으로 평가했다. 제출 후에는 블라인드 평가 리포트를 바탕으로 공개 토론을 진행해 점수와 함께 판단 근거를 검토했다.

크래프톤은 최종 결과물만으로는 파악하기 어려운 문제 해결 방식과 AI 활용 역량을 구체적인 근거로 제시했다. 직무와 과제가 달라도 같은 원칙으로 평가할 수 있다는 점도 확인했다.

박재민 크래프톤 AI Frontier 본부장은 "AI 시대의 경쟁력은 AI와 함께 문제를 정의하고 근거를 확인하며 결과를 끝까지 검증하는 데서 나온다"며 "Cofathon은 참가자의 최종 결과물 너머에 있는 실제 일하는 방식을 확인한 자리였고, 크래프톤은 Cofa-Probe를 고도화해 AI Native 인재 평가의 새로운 기준을 만들어갈 것"이라고 말했다.

김태영 OpenAI 코리아 어카운트 디렉터는 "Cofathon은 Codex가 실제 업무를 지원하는 것을 넘어 Cofa-Probe의 평가 체계를 검증하고 고도화하는 데 활용됐다는 점에서 의미가 크다"며 "앞으로도 크래프톤과 협력하며 OpenAI 기술이 실제 업무와 조직의 문제 해결에 더욱 깊이 활용될 수 있도록 다양한 가능성을 모색해 나갈 것"이라고 말했다.

크래프톤은 Cofathon에서 확보한 운영 경험과 현장 피드백을 바탕으로 Cofa-Probe의 평가 기준과 에이전트 환경을 지속해서 고도화할 계획이다.

프린트하기 닫기

www.38.co.kr