|
카카오, "Kanana-2" 업데이트…MoE 기반 모델 4종 오픈소스 추가 공개
카카오는 20일 자체 기술로 개발한 차세대 언어모델 'Kanana-2'를 업데이트하고 4종의 모델을 오픈소스로 추가 공개했다고 밝혔다.
Kanana-2는 지난해 12월 허깅페이스를 통해 처음 공개된 언어모델이다. 카카오는 한 달여 만에 성능을 대폭 개선한 모델 4종을 추가로 공개했다. 에이전트형 AI 구현에 필요한 성능과 효율을 함께 끌어올렸다는 설명이다.
이번에 공개한 모델은 고효율과 저비용을 동시에 겨냥했다. 최신 초고가 인프라가 아니라 엔비디아 A100 수준의 범용 GPU에서도 원활하게 작동하도록 최적화했다. 중소기업과 연구자도 부담 없이 활용할 수 있도록 실용성을 높였다.
핵심 구조는 전문가 혼합 방식인 MoE다. 전체 파라미터는 32B 규모지만, 실제 추론 과정에서는 상황에 맞는 3B 파라미터만 활성화한다. 연산량을 줄이면서도 대형 모델 수준의 지능을 유지한다는 전략이다.
카카오는 MoE 학습에 필요한 커널을 직접 개발해 학습 속도를 높이고 메모리 사용량을 크게 줄였다고 설명했다. 카카오는 사전 학습과 사후 학습 사이에 '미드 트레이닝' 단계를 새로 도입했다. 새로운 지식을 배울 때 기존 지식을 잊는 '치명적 망각'을 막기 위해 리플레이 기법도 적용했다.
이를 통해 새로운 추론 능력을 추가하면서도 한국어 처리 능력과 일반 상식 수준을 안정적으로 유지할 수 있었다는 설명이다. 이번에 공개한 모델은 △기본 모델 △지시 이행 모델 △추론 특화 모델 △미드 트레이닝 모델 등 4종이다. 연구용으로 활용할 수 있는 미드 트레이닝 탐색 모델도 함께 공개해 오픈소스 생태계 기여도를 높였다.
새로운 Kanana-2는 단순 대화형 AI를 넘어 실제 업무 수행이 가능한 에이전트형 AI 구현에 초점을 맞췄다.
멀티턴 도구 호출 데이터를 집중 학습해 지시 이행과 도구 호출 능력을 강화했다. 복잡한 지시를 이해하고 필요한 도구를 스스로 선택해 호출할 수 있도록 설계됐다.
성능 평가에서는 'Qwen-30B-A3B-Instruct-2507'과 비교해 지시 이행 정확도, 멀티턴 도구 호출 성능, 한국어 처리 능력 등에서 우위를 보였다는 설명이다.
김병학 카카오 카나나 성과리더는 "고가 인프라 없이도 실용적인 에이전트 AI를 구현하는 데 집중했다"며 "보편적인 환경에서도 효율을 내는 모델을 오픈소스로 공개해 국내 AI 생태계에 새로운 대안이 되길 바란다"고 말했다.
한편 카카오는 MoE 구조 기반의 대형 모델 'Kanana-2-155b-a17b'도 학습 중이다. 수천억 파라미터 규모다. 중국 지푸 AI의 'GLM-4.5-Air-Base'보다 40% 수준의 데이터로 학습했지만, MMLU 등 주요 벤치마크에서는 유사한 성능을 보였다. 한국어 질의응답과 수학 영역에서는 더 높은 성능을 기록했다는 평가다. 또 기존 32비트나 16비트 방식 대신, 최신 Hopper GPU의 8비트 포맷을 적용해 학습 효율을 높이고 있다. 카카오는 향후 글로벌 최상위 수준의 성능을 목표로 파운데이션 모델 개발을 이어가고, 더 복잡한 에이전트 시나리오에도 대응할 수 있는 AI를 선보일 계획이다.
김평화 기자 peace@mt.co.kr
Copyright ⓒ 머니투데이 & mt.co.kr. 무단 전재 및 재배포, AI학습 이용 금지.
|
|