(왼쪽부터)박종세·권영진·허재혁 교수, 스탠포드대 쿤레 올루코툰 교수.ⓒ한국과학기술원


한국과학기술원(KAIST)은 박종세 전산학부 교수를 중심으로 한 애니브릿지(AnyBridge) AI 팀이 GPU에만 의존하지 않고, 다양한 AI 가속기를 통합해 LLM을 효율적으로 서비스할 수 있는 차세대 AI 인프라 소프트웨어를 개발했다고 30일 밝혔다.
해당 기술은 카카오가 주최한 ‘4대 과학기술원×카카오 AI 육성 프로젝트’에서 대상을 수상했다.
이번 프로젝트는 카카오와 KAIST 바다이야기하는법 , GIST, DGIST, UNIST 등 4대 과학기술원이 공동으로 추진한 산학 협력 프로그램이다.
대상팀에는 총 2000만원의 상금과 함께 최대 3500만원 규모의 카카오클라우드 크레딧이 제공된다.
애니브릿지 AI는 박 교수를 중심으로 권영진·허재혁 교수가 함께 참여한 기술 창업팀으로, AI 시스템과 컴퓨터 아키텍처 분 야마토무료게임 야에서 축적한 연구 성과를 바탕으로 실제 산업 현장에서 활용 가능한 기술 개발을 목표로 하고 있다.
또 미국 실리콘밸리 AI 반도체 시스템 스타트업 삼바노바(SambaNova)의 공동창업자이자 스탠포드대 교수인 쿤레 올루코툰(Kunle Olukotun) 교수가 자문위원으로 참여해 글로벌 시장을 염두에 둔 기술 및 사업 확장을 함께 추진하고 바다이야기비밀코드 있다.
애니브릿지 팀은 현재 대부분의 LLM 서비스가 고가의 GPU 인프라에 의존하고 있어, 서비스 규모가 확대될수록 운영 비용과 전력 소모가 급격히 증가하는 구조적 한계를 안고 있다는 점에 주목했다.
연구진은 이러한 문제의 근본 원인이 특정 하드웨어 성능이 아니라, GPU뿐만 아니라 NPU(AI 계산에 특화된 반도체) 바다이야기예시 , PIM(메모리 안에서 AI 연산을 처리하는 차세대 반도체) 등 다양한 AI 가속기를 효율적으로 연결·운용할 수 있는 시스템 소프트웨어 계층의 부재에 있다고 분석했다.
이에 애니브릿지 팀은 가속기 종류와 관계없이 동일한 인터페이스와 런타임 환경에서 LLM을 서비스할 수 있는 통합 소프트웨어 스택을 제안했다.
특히 GPU 바다이야기게임방법 중심으로 고착화된 기존 LLM 서빙 구조의 한계를 지적하고, 여러 종류의 AI 가속기를 하나의 시스템에서 함께 활용할 수 있는 ‘멀티 가속기 LLM 서빙 런타임 소프트웨어’를 핵심 기술로 제시해 높은 평가를 받았다.
이 기술을 통해 특정 벤더나 하드웨어에 종속되지 않으면서도, 작업 특성에 따라 가장 적합한 AI 가속기를 선택·조합할 수 있는 유연한 AI 인프라 구조 구현이 가능하다. 이는 LLM 서비스의 비용과 전력 소모를 줄이고, 확장성을 크게 높일 수 있는 장점으로 평가된다.
또 애니브릿지 팀은 다년간 축적한 LLM 서빙 시스템 시뮬레이션 연구를 바탕으로, 실제 대규모 인프라를 구축하지 않고도 다양한 하드웨어·소프트웨어 설계 조합을 사전에 검증할 수 있는 연구 기반을 갖추고 있다. 이러한 점은 기술의 완성도와 산업적 실현 가능성을 동시에 보여줬다는 평가를 받았다.
박 교수는 “이번 수상은 GPU 중심 AI 인프라의 한계를 넘어, 다양한 AI 가속기를 통합하는 시스템 소프트웨어의 필요성을 인정받은 결과”라며 “연구 성과를 산업 현장과 창업으로 확장할 수 있었다는 점에서 의미가 크다”고 말했다.
이어 “산업 파트너들과의 협력을 통해 차세대 LLM 서빙 인프라 핵심 기술로 발전시켜 나가겠다”고 밝혔다.