동일한 GPU 자원에서 AI 추론 처리량을 62.8% 끌어올린 성능 검증 결과가 공개됐다. AI 인프라 소프트웨어 전문 기업 오케스트로(대표 김범재, 김영광)는 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’에 분산 추론 기술을 적용해 얻은 결과라고 밝혔다. 같은 검증에서 토큰 생성 지연은 52.1% 줄었다.
62.8%는 기존 모델 서빙 방식과 비교한 고부하 처리량 증가율이다. 이 수치는 특정 검증 환경에서 측정한 값이며, 환경에 따라 차이가 있을 수 있다.
프리필·디코드 분리와 KV 캐시 오프로딩
콘체르토 AI의 핵심은 분산 추론 구조다. 추론 과정의 프리필과 디코드 작업을 분리해 각각에 GPU 자원을 할당하는 방식이다. 이렇게 분리해 GPU 자원을 할당함으로써 서로 다른 연산 사이의 자원 충돌이 줄고 전체 추론 처리 효율이 높아진다.
오케스트로는 추론 과정에서 생기는 응답 지연과 자원 활용 문제를 해결하기 위해 이 기술을 콘체르토 AI에 적용했다. GPU를 추가로 확보해도 추론 과정의 병목을 해결하지 못하면 기대한 성능을 얻기 어렵기 때문이다. 하드웨어 증설보다 운영 효율에 초점을 맞춘 이유다.
스토리지 쪽에서는 넷앱(NetApp) 스토리지와 연계했다. GPU 다이렉트 스토리지(GPUDirect Storage, GDS) 기반 KV 캐시 오프로딩을 적용해 GPU 메모리 부담을 덜었다.
로딩·기동 시간 단축
넷앱 스토리지 연계 최적화 이후 모델 가중치 로딩 시간은 기존 71초에서 8초로 짧아졌다. 신규 서버가 기동해 실제 서비스에 투입되기까지 걸리는 시간도 187초에서 80초로 줄었다.
김범재 오케스트로 대표는 AI 서비스 운영의 경쟁력이 GPU 확보 규모뿐 아니라 기존 자원의 성능을 얼마나 효율적으로 활용하는지에 달려 있다고 설명했다.
하드웨어 확장과 소버린 AI 어플라이언스
콘체르토 AI는 엔비디아 GPU와 국산 NPU 등 다양한 하드웨어를 활용하는 환경으로 확대할 예정이다.
계열사 오케스트로 클라우드는 퓨리오사AI, 업스테이지 등 4개사와 업무협약을 체결했다. 국산 NPU 기반의 소버린 AI 풀스택 어플라이언스 공동 개발을 추진하고 있으며, 독립적인 AI 인프라 구축을 지원한다는 구상이다.
온라인 웨비나 개최
오케스트로는 이 검증 결과를 소개하는 온라인 웨비나를 10월 27일 오후 2시에 올쇼TV에서 연다. 주제는 ‘AI 서비스 성능 개선, GPU부터 더 사야 할까?’다. 참가비는 무료이며 사전 등록이 필요하다.