AMD 인스팅트(Instinct) MI355X에서 최신 오픈소스 모델을 구동했을 때 일반적인 서비스 조건에서 엔비디아 B200보다 추론 처리량이 2배 이상 나왔다. AI 인프라 솔루션 기업 모레는 이렇게 설명했다. 모레(대표 조강원)는 4일 웨스틴 서울 파르나스에서 열린 AMD Advancing AI World Tour Seoul 2026에 참가했다. 이 자리에서 AMD GPU로 AI 추론을 돌릴 때 드는 비용을 최적화하는 소프트웨어 전략, 토큰 팩토리(Token Factory)를 발표했다.
토큰 팩토리는 데이터센터를 AI 추론 결과물을 대규모로 생산하는 인프라로 보는 개념이다. 행사에서는 전시 부스를 운영하고 영상 시연도 진행했다.
소프트웨어 전 계층 개발, 이기종 분산 추론까지
모레는 AI 모델과 GPU가 빠르게 발전하면서 높아지는 데이터센터 운영 복잡성을 해결하기 위해 GPU 연산 커널과 추론 엔진부터 대규모 클러스터 분산 추론까지 소프트웨어 전 계층을 개발하고 있다. 자체 개발한 MoAI Inference Framework는 AMD GPU는 물론 엔비디아와 AMD GPU를 함께 쓰는 이기종 분산 추론을 지원한다.
이기종 구성에서는 엔비디아 GPU가 프리필을, AMD GPU가 디코드를 맡도록 나눴다. 회사 측 측정 결과 이 구성의 처리량은 동종 GPU 클러스터 대비 약 1.7배였다.
모레는 추론 소프트웨어의 최적화 수준이 실제 서비스 처리량에 영향을 미친다고 설명한다. 기존 엔비디아 인프라를 전면 교체하지 않고 AMD GPU를 추가해 확장할 수 있다는 점도 이기종 분산 추론 지원의 특징이다. 서로 다른 GPU를 하나의 추론 환경에서 활용하면 기존 설비를 유지하며 새 가속기를 도입하고 특정 제조사 의존도를 줄일 수 있어 의미가 있다.
AMD GPU 운영 경험과 현장 발언
모레는 2021년 KT와 AMD GPU 기반 AI 클라우드 서비스를 상용화했다. 상용화 이후 2000장 이상의 AMD GPU를 운영한 경험도 갖고 있다. 오픈소스 추론 프레임워크 vLLM과 SGLang에도 기여하고 있다. 올해는 국내외 복수의 토큰 팩토리 고객사에 이기종 GPU 운영 소프트웨어를 공급하며 사업을 넓히고 있다.
발표에서는 AMD AI 제품관리 부문 라민 로안(Ramine Roane) 부사장이 AMD의 오픈소스 소프트웨어 플랫폼 ROCm과 인스팅트 GPU의 추론 경제성을 소개한 데 이어, 조강원 대표가 이를 실제 데이터센터 환경에서 구현하는 모레의 기술을 설명했다.
조 대표는 “데이터센터가 AI 토큰을 생산하는 토큰 팩토리로 바뀌면서 경쟁의 기준이 GPU 보유량에서 토큰당 비용으로 옮겨가고 있다”고 말했다. 이어 “새 모델과 새 가속기가 빠르게 쏟아지는 상황에서 GPU의 성능을 가치 있는 실제 비즈니스로 바꾸는 것은 결국 소프트웨어”라고 강조했다.
조 대표는 ‘Building Korea’s AI Nation: From Infrastructure to Impact’ 주제의 패널 토론에도 참여했다. 그는 “GPU를 확보하는 것만으로 소버린 AI 경쟁력이 완성되지는 않는다”며 “새 모델을 바로 서비스할 수 있는 소프트웨어와 대규모 클러스터를 안정적으로 운영하는 역량이 함께 갖춰져야 한다”고 말했다.
모레는 데이터센터 사업자가 AMD 기반 토큰 팩토리로 가장 빠르게 전환하도록 지원할 방침이다. 조 대표는 “AMD 기반 인프라에서도 최고 수준의 추론 효율을 낼 수 있음을 입증해 한국 소버린 AI 인프라의 선택지를 넓히는 데 기여하겠다”고 밝혔다.