| 프린트하기 닫기 | www.38.co.kr |
“AI 학습과 추론 경계 무너져…속도는 HBM·용량은 HBF”
|
속도·용량 분리 설계 필요성 부각 삼성·SK하이닉스에 중장기 기회  인공지능(AI)이 실시간으로 데이터를 학습하며 추론하는 단계로 진입하면서 메모리 구조의 중요성이 빠르게 커지고 있다. 학습과 추론을 분리해 설계하던 기존 AI 반도체 구조에 한계가 있다는 지적이 나왔다. 김정호 한국과학기술원(KAIST) 전기 및 전자공학부 교수는 3일 서울 광화문 프레스센터에서 열린 ‘HBF 연구내용 및 기술개발 전략 설명회’에서 “지금은 학습과 추론이 동시에 일어난다”며 “이제 학습과 추론의 경계가 무너졌다”고 밝혔다. 김 교수는 AI 모델 고도화로 메모리 수요 구조가 근본적으로 바뀌고 있다고 설명했다. 그는 “1초 전, 10초 전에 나온 뉴스도 긁어 들여 학습해서 결과를 내야 한다”며 “질문할 때 자료를 올리면 그 자료까지 공부해서 답을 내놓는다”고 말했다. 이 과정에서 AI가 참조하는 KV 캐시(Key-Value Cache)가 급격히 늘어나고 있다는 것이다. 김 교수는 “KV 캐시는 엄청 메모리를 많이 써먹는다”며 “HBM은 쌓아봐야 200GB 수준이라 이것만으로는 안 된다”고 말했다. AI가 대화 맥락과 대규모 데이터를 동시에 처리하면서 기존 HBM 중심 구조에 용량 부담이 커지고 있다고 진단했다. 그는 AI 메모리를 ‘핫 메모리’와 ‘콜드 메모리’로 구분했다. 김 교수는 “핫 메모리는 지금 당장 필요한 데이터로 HBM이 담당하고 콜드 메모리는 평생의 기록과 같은 데이터”라며 “어렸을 때 모습을 그려달라고 하면 바로 긁어올 수 있어야 한다”고 강조했다. 콜드 메모리를 담당하는 낸드플래시 기반 메모리 수요가 급증하면서 대용량 데이터를 GPU 가까이에서 처리할 수 있는 고대역폭플래시(HBF)가 하나의 대안으로 제시되고 있다고 설명했다. 김 교수는 “낸드는 느리지만 대량으로 읽어서 쏟아내는 방식으로 설계하면 본질적인 속도가 GPU와의 성능을 결정하지는 않는다”고 말했다. AI 성능을 좌우하는 핵심은 메모리 구조라는 점도 강조했다. 김 교수는 “속도를 결정하는 게 HBM이고 용량을 결정하는 게 HBF”라며 “AI 시대에는 메모리가 성능과 비용을 좌우하게 된다”고 했다. AI 기술 진화에 따라 메모리 수요가 지금보다 크게 늘어날 것이라는 전망도 내놨다. 김 교수는 “실시간 학습, 연속 학습, 멀티모달, 에이전트 AI까지 가려면 지금보다 100배에서 1000배 정도의 메모리가 더 필요하다”고 제언했다. 이 같은 변화는 국내 메모리 기업들에 기회 요인으로 작용할 수 있다는 분석이다. 김 교수는 “구글은 데이터와 플랫폼은 있지만 파운드리와 메모리가 없다”며 “메모리와 파운드리, 패키징 역량은 삼성전자와 SK하이닉스의 강점이고 이건 절대 내주면 안 되는 경쟁력”이라고 강조했다. 삼성전자와 SK하이닉스는 HBM을 통해 적층·패키징기술 등을 이미 확보하고 있어 HBF 시장에서도 경쟁 우위를 점할 수 있다는 평가다. 그는 “메모리는 결국 매출과 수익, 가격, 시가총액으로 반영될 것”이라며 “AI 시대에 세계를 지배하는 건 메모리”라고 말했다. <저작권자 ⓒ 이투데이 무단전재/재배포 금지>
|
| 프린트하기 닫기 | www.38.co.kr |