|
| 제목 : KT, 6000만 접점 ‘모두의 AI’…토큰 팩토리로 GPU 효율 21% 높인다
|
 |
 |
 |
 |
|
|
| 2026년 09월 13일 09:24 김연진 기자 |
| KT, 6000만 접점 ‘모두의 AI’…토큰 팩토리로 GPU 효율 21% 높인다 |
다양한 서비스에 AI 내재화 ‘이음 인사이드’
NPU 활용 및 추가 GPU로 안정적 서비스 구동
KT가 정부에서 지원받는 그래픽처리장치(GPU)의 효율을 21% 가량 높이고 이용자가 몰릴 경우 자체 GPU까지 투입해 ‘모두의 AI’를 운영한다. 6000만 서비스 접점을 통해 대규모 이용자를 확보하는 만큼 AI 추론에 필요한 인프라 부담을 낮춰 서비스 지속 가능성을 높이는 전략이다.
이진형 KT AX사업본부장(상무)은 11일 ‘모두의 AI’ 온라인 설명회에서 “정부로부터 GPU 100장을 지원받는다면 KT 토큰 팩토리는 121장 정도의 효율성이 있다”며 “내부 비용뿐만 아니라 고객도 더 저렴하게 사용할 수 있도록 하는 토큰 팩토리 기술이 ‘모두의 AI’에 들어간다”고 밝혔다.
KT는 과학기술정보통신부가 추진하는 ‘모두의 AI’ 사업을 토큰 팩토리 기반으로 구현할 계획이다. 토큰 팩토리는 사용자가 입력한 프롬프트의 처리(Prefill)와 응답 생성(Decode)을 분리해 각 단계에 최적화된 자원을 할당한다. 처리에는 GPU, 응답 생성에는 국산 AI 반도체를 활용하는 방식이다.
이를 통해 분당 토큰 처리량(TPM)을 약 31% 향상시키고 다양한 프롬프트 압축 기술을 활용해 입력 토큰을 최대 80%까지 줄일 수 있다. KT는 국산 AI 반도체 32장으로 시작하고 성능이 좋아질수록 더 투자할 예정이다.
KT는 정부 지원 GPU만으로 이용량을 감당하기 어려운 상황에도 대비한다. 이 본부장은 “GPU 배정량과 AI 모델·서비스 성능에는 완전한 상관관계가 있다”며 “정부의 지원 변화 등에 대비해 내부적으로 추가 GPU를 준비했다”고 말했다. 정부 지원 GPU에 과부하가 발생하면 KT가 보유한 GPU로 전환하는 ‘폴백’ 구조다.
업스테이지 ‘솔라’, 모티프테크놀로지스 ‘모티프’, 솔트룩스 ‘루시아’, NC AI ‘바르코’, KT ‘믿음’ 등 다양한 국산 AI 모델과 리벨리온의 신경망처리장치(NPU), 래블업·베슬AI의 AI 인프라 운영 최적화 기술이 토큰 팩토리에서 통합 운영된다. 이를 통해 서비스 특성에 맞는 최적의 AI 모델을 자동으로 연결하고 안정적인 AI 서비스를 제공할 수 있다.
이 본부장은 “추론 능력이 뛰어난 솔라를 주력으로 하되 가공되지 않은 원문 데이터를 입력했을 때는 글로벌 경쟁이 가능한 모티프가 압도적”이라며 “음성은 NC AI, 국산 NPU나 멀티모달이 들어갈 때는 KT 믿음 모델 등으로 최적의 라우팅을 할 것”이라고 설명했다.
KT의 핵심 전략은 ‘이음 인사이드’다. 이음 인사이드는 별도 모두의 AI 앱·웹뿐 아니라 다음·직방 등 이용자가 평소 사용하는 서비스 안에서 AI 에이전트를 호출할 수 있도록 한다. 공공·교육·금융·쇼핑 등 국민이 일상적으로 이용하는 다양한 서비스에 AI를 내재화하고 하나의 범용 AI 에이전트로 연결해 개방형 AI 생태계를 만드는 것이다.
컨소시엄에는 업스테이지, 솔트룩스, 다음, 무신사, 직방, EBS, 매스프레소, BC카드 등 국내 대표 AI·서비스 기업 다수가 참여했다. 참여 기업의 서비스 접점은 합산 6000만 이상이다. 컨소시엄에 참여하지 않은 기업도 신청하면 이음 인사이드를 연동할 수 있다.
KT는 현재 추가 파트너도 확보하고 있다. 이 본부장은 “7개 정도까지 파트너 추가 요청이 와 있는 상태”라며 금융을 비롯해 호텔·음식점 예약 생활 서비스 제공 기업 등과 협의를 진행하고 있다고 밝혔다.
<저작권자 ⓒ 이투데이 무단전재/재배포 금지>
|
|
| |
|
|
|
KT, 6000만 접점 ‘모두의 AI’…토큰 팩토리로 GPU 효율 21% 높인다
| |
 삼성전자, 초·중학생 AI 교육 확대…2년간 25만명 가르친다 [이투데이 2026년 09월 13일 10:09]
|
| |
중동전쟁에도 원유 도입 9.8% 늘었다…정유업계 “석유 수급 안정” [이투데이 2026년 09월 13일 10:09]
|
| |
LG전자, 美 에미상 공식 파트너…올레드·시그니처 전면에 [이투데이 2026년 09월 13일 10:00]
|
| |
LG디스플레이, 전 직원 'AI 개발자' 키운다…450개 과제 발굴 [이투데이 2026년 09월 13일 10:00]
|
| |
기아 PV5, 출시 13개월 만에 5만대 돌파…해외 판매 60% [이투데이 2026년 09월 13일 09:49]
|
| |
단독 패션 브랜드 강화 롯데면세점, ‘발렌티노·듀베티카’ 잇따라 선봬 [이투데이 2026년 09월 13일 09:45]
|
| |
최태원 “울산, 제조AI·시민 행복·예술 아우른 'AI시티'로 가야” [이투데이 2026년 09월 13일 09:37]
|
| |
제주항공, 실무 맞춤형 공정거래 교육…준법 리스크 예방 강화 [이투데이 2026년 09월 13일 09:33]
|
| |
현대차, ‘달리기 기부’ 11년…누적 26만명 참여·13만 그루 심었다 [이투데이 2026년 09월 13일 09:30]
|
| |
정기선 HD현대 회장, 가스텍서 ‘미래 선박’ 승부수…기술인증·MOU 30건 [이투데이 2026년 09월 13일 09:25]
|
| |
|
비상장주식거래, 장외주식시장 NO.1 38커뮤니케이션
 광고 문의 : ☎ 1644-3830 (38커뮤니케이션) |
장외시장,비상장시장,장외주식,비상장주식,소액주주,주주동호회,주주게시판,공모,소액공모,장외시황,비상장주식시세,주식차트,주가,비상장주식거래,시세정보,프리보드,장외시장,프리보드시장,장외주식,프리보드주식,소액주주,주주동호회,주주게시판,공모,소액공모,시황,시세,주식차트,주가,3시장,투자전략,종목분석,선물옵션,해외증시,주식시세 등 증권정보,증권정보사이트,증권시세,선물옵션,주가정보,종목토론,전문가,테마주 분석,추천종목,이슈,종목뉴스,차트,시황전략,주식투자,증권 전문 포털사이트,재테크,부동산,창업,카페,주식칼럼,증시브리핑,증시분석,주식투자정보,증권투자정보,금융정보,차트분석,증시일정,소액주주,커뮤니티,매매,주식거래,온라인증권,종목추전
주식,펀드,증시전망,투자포털 사이트,재무분석,주식공모,증시일정,증권사,코스피,코스닥,나스닥,거래소,코넥스,제3주식시장,주가지수,미국증시,일본증시,아시아증시,KOSDAQ,KOSPI,KONEX,KOSCOM,삼성sds,장외투자
|
|
|
.
.
.
비상장(장외) 
