인공지능(AI)이 창작자와 교류하며 최적의 작곡을 수행하는 시스템이 등장했다.
KAIST 전기및전자공학부 이성주 교수팀이 AI 기반 음악창작 지원시스템 ‘어뮤즈’를 개발했다.
연구팀이 개발한 어뮤즈시스템은 텍스트, 이미지, 오디오 등 다양한 형식으로 영감을 입력하면 이를 음악 코드로 변환해준다.
어뮤즈시스템의 핵심 기술은 대형언어모델(LLM)이 사용자가 프롬프트에 입력한 내용에 맞춰 어울리는 코드를 생성하고, 이 과정에서 부자연스럽거나 어색한 결과는 걸러내는 리젝션 샘플링을 결합해 자연스럽게 재현하는 하이브리드 생성방식으로 작동한다.
실제 연구팀이 음악가를 대상으로 사용자 연구를 수행한 결과 어뮤즈시스템이 단한 음악생성 AI가 아닌 사람과 협업하는 창작 동반자 역할을 했다.
예를 들어 사용자가 ‘따뜻한 여름 해변의 기억’에 대한 문장, 이미지, 소리 등을 입력하면 이에 맞는 코드 진행을 제시하는 상호작용을 거쳐 창의적 탐색을 자연스럽게 유도한다.
이번 연구는 향후 음악창작 생성형 AI 개발에서 보다 창작자 친화적 방향을 제시하는 출발점이 될 것으로 기대된다.
이 교수는 “최근 생성형 AI 기술이 저작권 콘텐츠를 모방하거나 창작자 의도와 무관한 일방향 결과물을 생성하는 문제가 있다”며 “어뮤즈시스템은 이에 대한 문제의식을 갖고 창작자 중심의 AI시스템 설계에 초점을 맞췄다”고 설명했다.
한편, 이번 연구는 KAIST 전기및전자공학부 김예원 박사과정과 카네기멜런대학 크리스 도너휴 교수가 참여했고, 연구결과는 지난 1일 일본 요코하마에서 열린 인간-컴퓨터 상호작용 분야 세계최고 권위 국제학술대회 ‘CHI(ACM Conference on Human Factors in Computing Systems)’에서 최우수 논문상을 수상했다.
(논문명 : Amuse: Human-AI Collaborative Songwriting with Multimodal Inspirations /DOI : https://doi.org/10.1145/3706598.3713818)
