[쿠키과학] '뇌처럼 배우는 AI'… KAIST, 전두엽 학습 비밀 규명

[쿠키과학] '뇌처럼 배우는 AI'… KAIST, 전두엽 학습 비밀 규명

목표 변화와 불확실성 동시에 처리하는 뇌 메커니즘 밝혀
목표·불확실성 분리 학습 구조로 차세대 강화학습 방향 제시

기사승인 2025-12-14 16:29:39
인간과 AI의 유동성-안정성 균형. (왼쪽)목표와 환경의 불확실성이 계속 변하는 상황. 변화하는 목표에 맞는 의사결정의 유동성과, 환경 변화에 흔들리지 않는 의사결정의 안정성 개념. (오른쪽)AI 모델 (MB agent, MF agent)와 인간 피험자의 의사결정 유동성-안정성 균형 측정 결과. KAIST

KAIST가 인간 전두엽의 학습 메커니즘처럼 학습하는 인공지능(AI) 개발 가능성을 제시해 화제다.

KAIST는 뇌인지과학과 이상완 교수팀은 IBM AI연구소와 공동연구로 인간의 뇌가 목표 변화와 불확실한 상황을 처리하는 방식을 규명하고, 차세대 AI 강화학습의 방향을 제시했다고 14일 밝혔다.

연구팀은 기존 강화학습 모델이 목표가 바뀌는 상황에서 안정성이 떨어지고, 환경이 불확실하면 유연성이 부족해지는 한계가 있지만 인간은 두 요소를 동시에 달성한다는 것에 주목했다.

연구팀은 이 차이가 전두엽이 정보를 표현하는 방식 자체에서 비롯된 것으로 가정했다.

이에 연구팀은 뇌 기능 MRI 실험, 강화학습 모델, AI 분석기법을 활용한 결과, 인간 전두엽은 ‘목표 정보’와 ‘불확실성 정보’를 서로 간섭하지 않도록 분리 저장하는 특별한 구조를 갖고 있음을 밝혔다.

이런 구조가 뚜렷할수록 사람은 목표가 바뀌면 빠르게 전략을 바꾸고, 환경이 불확실해도 안정적인 판단을 유지했다. 

연구팀은 이를 통신 기술의 멀티플렉싱처럼 서로 다른 정보를 한 번에 처리하는 특징을 갖는다는 점도 확인했다.

인간의 전두엽은 목표가 바뀔 때마다 변화를 민감하게 추적해 의사결정의 유동성을 확보하는 채널이 있고, 동시에 또 다른 채널로 환경의 불확실성을 분리해 안정적인 판단을 유지한다. 

특히 전두엽이 첫 번째 채널을 통해 단순히 학습을 실행하는 수준을 넘어 두 번째 채널을 활용해 상황에 따라 어떤 학습전략을 쓸지 스스로 고르는 역할까지 한다.

전두엽의 목표와 환경의 불확실성 정보 표상의 위상구조. 인간은 목표와 불확실성 정보를 독립적으로 처리한다. KAIST

연구팀은 전두엽이 단순히 학습을 실행하는 수준을 넘어 상황에 따라 어떤 학습 전략을 사용할지 스스로 선택하는 ‘메타학습 능력’을 갖고 있음을 제시했다.

전두엽은 무엇을 배울지뿐 아니라 어떻게 배울지도 학습하는 구조를 갖고 있으며, 이것이 인간이 끊임없이 바뀌는 상황에서도 흔들리지 않는 이유다.

이 연구는 개인의 강화학습·메타학습 능력 분석, 맞춤형 교육설계, 인지 능력 진단, 인간-컴퓨터 상호작용 등 다양한 분야에 활용될 수 있고, 뇌 기반 표현구조를 활용하면 뇌처럼 생각하는 AI기술로 인간의 의도와 가치를 더 잘 이해해 위험한 판단을 줄이고 사람과 더 안전하게 협력하는 기술로 이어질 수 있음을 의미한다.

이 교수는 “이번 연구는 변화하는 목표를 유연하게 따라가면서도 안정적으로 계획을 세우는 뇌의 작동 원리를 AI 관점에서 규명한 성과”라며 “이런 원리가 앞으로 AI가 사람처럼 변화에 적응하고 더 안전하고 똑똑하게 학습하는 차세대 AI의 핵심 기반이 될 것”이라고 말했다.

한편, 이번 연구는 성윤도 박사과정이 제1저자로, IBM AI연구소 마티아 리고티 박사가 제2저자로, 이 교수가 교신저자를 맡았고, 연구결과는 지난달 26일 국제학술지 `네이처 커뮤니케이션스’에 게재됐다.
(논문명: Factorized embedding of goal and uncertainty in the lateral prefrontal cortex guides stably flexible learning) DOI: 10.1038/s41467-025-66677-w)

(왼쪽부터)KAIST 이상완 교수, 성도윤 박사과정, (상단)IBM AI연구소 마티아 리고티 박사
이재형 기자
jh@kukinews.com
이재형 기자