GPU 자원을 대량으로 확보해도 여러 모델과 이용자의 요청이 동시에 몰리는 AI 팩토리에서는 안정적인 운영이 보장되지 않는다. AI 인프라 소프트웨어 기업 래블업(대표 신정규)은 2026년 9월 15일 그랜드 인터컨티넨탈 서울 파르나스에서 열린 ‘kt cloud summit 2026’에서 추론·라우팅 최적화와 토큰 단위 모니터링을 결합한 AI 팩토리 운영 전략을 발표했다.
추론·라우팅 최적화와 토큰 모니터링
발표를 맡은 김준기 래블업 최고기술책임자(CTO)는 AI 인프라의 무게중심이 대규모 학습에서 추론과 실제 서비스 운영으로 이동하고 있다고 짚었다. 여러 모델과 이용자의 요청이 동시에 연결되는 환경에서는 GPU 자원을 확보하는 것만으로는 운영 효율과 비용 관리 문제를 풀 수 없다는 것이 발표의 핵심이다. 래블업은 이에 대응해 요청을 효율적으로 분배하는 라우팅 최적화와 토큰 단위로 사용량을 추적하는 모니터링 체계를 결합한 운영 전략을 제시했다.
김준기 CTO는 “AI 인프라의 무게중심이 대규모 학습에서 추론과 실제 서비스 운영으로 빠르게 이동하면서 다양한 모델과 이용자의 요청을 효율적으로 처리하는 것이 새로운 과제로 떠오르고 있다”며 “기업들이 보다 효율적으로 AI 서비스를 구축하고 확장할 수 있도록 지원하겠다”고 말했다.
GPU 클라우드 밸류체인에서의 위치
래블업과 KT는 지난해 GPU 클라우드 서비스(GPUaaS) 공동개발을 위한 업무협약을 체결한 바 있다. GPUaaS는 AI 데이터센터(AIDC)에 구축된 GPU 자원을 클라우드 형태로 제공하는 서비스로, 대규모 GPU 인프라를 갖춘 데이터센터 사업자와 이를 실제 서비스로 구현하는 소프트웨어 기업 간 협력이 필수적인 영역이다. 두 회사는 이번 발표를 계기로 협력 범위를 AI 서비스 운영과 인프라 효율화 영역까지 확대할 계획이다.
이번 발표는 GPU 확보 경쟁에 쏠려 있던 AI 인프라 논의의 축이 실제 운영 단계로 넘어가고 있음을 보여준다. 하드웨어 중심의 투자만으로는 다수의 모델과 이용자가 몰리는 AI 팩토리 환경을 감당하기 어렵다는 점에서, 래블업과 KT의 협력 확대는 GPU 클라우드 밸류체인의 다음 단계를 가늠하는 사례로 주목된다.