KAIST 전산학부 박종세 교수가 이끄는 창업팀 '애니브릿지'가 고가의 GPU에 의존하던 거대언어모델(LLM) 구동 방식을 혁신하는 소프트웨어를 개발해 '4대 과학기술원·카카오 인공지능(AI) 육성 프로젝트'에서 대상을 차지했다.
이번 프로젝트는 카카오와 KAIST, GIST, DGIST, UNIST 등 4대 과학기술원이 공동으로 추진한 산학 협력 프로그램으로, 박 교수팀은 상금 2000만 원과 3500만 원 상당의 카카오클라우드 사용권한을 받았다.
현재 챗GPT 같은 대규모 AI 서비스는 고성능 GPU 서버를 사용해 서비스 이용자가 늘어날수록 천문학적인 비용과 전력이 소모되는 구조다.
연구팀은 이 문제를 해결하기 위해 다양한 AI 반도체를 섞어서 사용할 수 있는 차세대 AI 인프라 '멀티 가속기 서빙 소프트웨어'를 개발했다.
이는 GPU뿐 아니라 신경망처리장치(NPU), 지능형반도체(PIM) 등 성격이 다른 여러 가속기를 한 시스템에서 통합해 관리하는 기술이 핵심이다.
NPU는 AI 계산에 특화된 반도체이며, PIM은 데이터 저장 공간인 메모리 내부에서 연산까지 처리하는 차세대 반도체다.
연구팀이 개발한 소프트웨어는 마치 여러 종류의 엔진을 상황에 맞게 골라 쓰듯, 작업 특성에 따라 가장 적합한 반도체를 선택해 AI를 구동하게 돕는다.
이를 활용하면 특정 벤더나 하드웨어에 종속되지 않고도 작업 특성에 맞는 가속기를 선택·조합하는 유연한 AI 인프라를 구현할 수 있다.
아울러 이 기술은 LLM 서빙 시스템 시뮬레이션 연구를 바탕으로 대규모 인프라를 실제로 깔기 전에도 하드웨어·소프트웨어 설계 조합을 미리 검증할 수 있는 기반을 갖춰 구축비용과 시행착오를 줄이는 데 유리하다.
이 기술을 적용하면 특정 반도체 제조사에 종속되지 않고 유연하게 인프라를 구성할 수 있고, 거대 장비를 다 갖추지 않고도 시뮬레이션을 통해 최적의 조합을 미리 검증할 수 있어 비용 절감과 전력 효율화를 가져올 전망이다.
이번 연구는 애니브릿지 팀에는 박 교수를 대표로 권영진 KAIST 교수, 허재혁 KAIST 교수가 참여해 컴퓨터 아키텍처 분야 전문성을 더했다.
또 미국 반도체 스타트업 삼바노바의 공동창업자 쿤레 올루코툰 스탠포드대 교수가 자문위원으로 합류해 해외시장 확장 가능성도 기대할 수 있다.
박 교수는 “이번 수상은 GPU 중심 AI 인프라의 한계를 넘어 다양한 AI 가속기를 통합하는 시스템 소프트웨어의 필요성을 인정받은 결과”라며 “산업 파트너들과 협력해 차세대 LLM 서빙 인프라 핵심 기술로 발전시키겠다”고 말했다.
