한국전자통신연구원(ETRI)이 새로운 지식을 학습해도 기존 지식을 잊지 않는 ‘건망증 없는 인공지능(AI)’을 개발헤 멀티모달 AI의 한계를 해결했다.
임수종 ETRI 언어지능연구실장 연구팀은 포항공대, 성균관대와 공동으로 개발한 ‘연속·복합 지식편집 기술(MemEIC)’이 세계 최고 권위 AI 학술대회 ‘NeurIPS 2025’에 채택됐다고 24일 밝혔다.
이 기술은 이미지와 텍스트를 동시에 이해하는 멀티모달 AI가 새로운 정보를 학습하는 과정에서 기존 지식을 잃어버리는 ‘치명적 망각’ 문제를 해결한 것이 핵심이다.
최근 ChatGPT, Gemini, Claude 등 멀티모달 AI 사용이 급증하고 있지만, 새로운 지식을 학습할 때 기존 정보를 함께 잊는 한계가 있었다.
특히 시각 정보와 언어 정보를 동시에 수정하는 과정에서 두 정보가 뒤섞이며 복합 질문에 잘못된 답을 내는 문제가 빈번했다.
실제 AI가 특정 디저트 이미지를 학습하고 별도의 텍스트 정보를 추가로 학습한 뒤 관련 질문을 받으면, 기존 모델은 두 정보를 제대로 연결하지 못하고 전혀 다른 답을 생성하는 오류를 보였다.
공동연구팀은 이 문제를 해결하기 위해 기존의 AI 내부 파라미터를 직접 수정하는 방식 대신 새로운 정보를 외부 메모리에 저장하는 구조를 제안했다.
이 방식은 필요할 때만 정보를 불러오는 보조기억장치 개념을 적용해 기존 모델의 안정성을 유지하면서도 새로운 지식을 유연하게 추가할 수 있도록 설계한 것이 특징이다.
MemEIC은 사람의 뇌 구조에서 착안해 시각 정보와 언어 정보를 분리 저장하는 구조를 갖는다.
이미지 정보는 ‘시각 어댑터’에, 텍스트 정보는 ‘언어 어댑터’에 각각 저장되며, 복합 질문이 들어오면 ‘지식 커넥터’가 두 정보를 문맥에 맞게 결합해 답을 생성한다.
이 구조를 적용한 AI는 기존 모델과 달리 시각·언어 정보를 정확히 결합해 올바른 답변을 도출했다.
연구팀은 성능 검증을 위해 1278개 항목의 복합지식 편집 벤치마크(CCKEB)를 구축하고 수백 건의 지식을 순차적으로 학습시키는 실험을 진행했다.
그 결과 MemEIC은 복합 질문 정확도 약 70%를 기록해 기존 36~52%보다 두 배 이상 성능이 향상됐다.
또 새로운 지식을 추가한 이후에도 기존 질문에 대한 답이 유지되는 ‘지역성(Locality)’ 보존 특성도 있어 응답 안정성도 높아졌다.
이번 연구는 AI의 망각 문제를 단순 완화하는 수준을 넘어 연속적 지식 업데이트와 복합 추론이라는 두 가지 난제를 동시에 해결했다는 점에서 의미가 크다.
특히 정책·법령 정보, 제품 데이터, 산업 정보 등 지속적으로 업데이트가 필요한 지능형 서비스 분야에서 활용 가능성이 높을 것으로 기대된다.
임 실장은 “멀티모달 AI가 실제 서비스 환경에서 요구되는 최신성 반영과 신뢰성 확보를 동시에 달성할 수 있는 기술적 기반을 마련했다”며 “향후 산업 현장에 적용 가능한 수준으로 고도화하겠다”고 말했다.
이번 연구논문의 주저자인 ETRI 성진 연구원은 “기존 방식은 시각과 언어 지식을 동시에 수정하면서 간섭이 발생했지만, MemEIC은 이를 분리 저장 후 필요 시 결합하는 구조로 해결했다”고 설명했다.
한편, 이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 ‘차세대 생성AI 기술개발사업’의‘생성형 언어모델의 지속가능성과 시간의 흐름에 따른 최신성 반영을 위한 학습 및 활용 기술개발’과제로 수행됐다.
