38stock 뉴스속보

www.38.co.kr

2026년 11월 12일 13:44 구자윤 기자

SK하이닉스 부사장 "AI 메모리 병목, 메모리 풀로 풀자…인텔과 협력"

SK하이닉스가 AI(인공지능) 시스템의 메모리 병목을 해결하기 위해 여러 CPU·GPU 서버가 대용량 메모리 자원을 공동으로 활용하는 '메모리 풀' 구조를 제시했다. GPU(그래픽처리장치) 중심의 기존 시스템에서 벗어나 메모리를 중심으로 컴퓨팅 구조를 재설계하자는 구상이다.

주영표 SK하이닉스 부사장은 12일 서울 강남구 코엑스에서 열린 '인텔 AI 서밋 서울 2026'에서 "에이전틱 AI 시대로 넘어가면서 메모리 용량이나 성능에 대한 압박이 완화될 것인가, 강화될 것인가를 고민해 볼 필요가 있다. 저희는 강화된다는 쪽의 생각을 갖고 있다"며 이 같이 말했다.

주 부사장은 기존 GPU 중심 시스템의 한계를 지적했다. 그는 "GPU 가운데 연산을 수행하는 코어가 있고 양 옆에 인터페이스, 위아래에 메모리가 붙는다"며 "물리적으로 더 둘 수 있는 공간이 없다. 2차원 공간에서는 용량이나 대역폭을 확장하는 데 한계가 있다"고 설명했다.

SK하이닉스가 꼽은 AI 시스템의 3대 병목은 △메모리 용량 부족 △데이터 접근 지연 △데이터 관리의 복잡성이다. GPU마다 메모리가 분산돼 있어 데이터를 주고받는 과정에서 지연이 발생하고, 저장 공간이 부족하면 이미 연산한 데이터를 버린 뒤 다시 계산해야 하는 비효율도 생긴다.

주 부사장은 "차라리 시스템 가운데 메모리를 두고 여기에 데이터를 던지고 꺼내 가게 하면 훨씬 더 효율적인 통신이 가능하지 않을까"라며 "자원 관리 차원에서도 훨씬 더 좋지 않을까라는 발상의 전환을 해볼 필요가 있다"고 말했다.

주 부사장은 이를 자동차에 비유했다. 그는 "각 가정에서 차를 2대, 3대, 4대씩 갖고 있는 게 효율적일까"라고 반문하며 "가정마다 차를 한 대씩 갖고 추가로 필요한 차는 공유 차량을 이용하는 방식이 자원 관리 차원에서 더 효율적일 것"이라고 설명했다. 서버마다 메모리를 추가하는 대신 별도의 대용량 메모리 풀을 두고 필요할 때 활용하자는 의미다.

구체적으로 GPU 서버 랙과 CPU(중앙처리장치) 서버 랙 외에 수십~수백 테라바이트 규모의 메모리 랙을 별도로 두는 구상이다. 기존 CPU·GPU 서버에도 자체 메모리는 유지하면서 별도의 메모리 풀을 추가하는 방식이다. 랙 사이에서는 RDMA(원격직접메모리접근), 랙 내부에서는 CXL(컴퓨트익스프레스링크) 등을 활용할 수 있다.

실험에서도 개선 효과가 나타났다. SK하이닉스가 파트너사와 진행한 멀티턴 AI 추론 평가에서 첫 토큰 생성까지 평균 80.76초가 걸리던 기존 재연산 방식과 달리 원격 CXL DDR 메모리를 활용하자 15.45초로 단축됐다. 약 5.2배 개선된 수치다.

주 부사장은 "메모리 공간이 부족하면 이미 한 번 연산해 저장했던 것을 버리고 다시 연산해야 한다"며 "시스템에 굉장히 큰 비효율이 있는 것"이라고 지적했다.

SK하이닉스는 인텔과도 관련 기술 협력을 진행하고 있다. 주 부사장은 "인텔은 컴퓨팅 분야에서 강력한 리더십을 갖고 있고 CPU가 중요해지는 에이전틱 AI 시대에 더 각광받고 있다"며 "인텔과 함께 혁신을 만들어 나가기 위해 노력하고 있다"고 말했다.

프린트하기 닫기

www.38.co.kr