Zhejiang University 연구팀, 새로운 경로 제시: 인간 뇌의 세계 이해 방식을 AI에 가르치다

대형 모델은 계속 커지고 있으며, 주류 관점은 모델 매개변수가 많을수록 인간 사고 방식에 더 가까워질 것이라고 생각합니다. 그러나 저장대 팀이 4월 1일 Nature Communications에 발표한 논문은 다른 관점을 제시했습니다(원문 링크: https://www.nature.com/articles/s41467-026-71267-5). 그들은 모델(주로 SimCLR, CLIP, DINOv2) 규모가 커진 후 구체적인 사물을 인식하는 능력은 실제로 계속 향상되지만, 추상적 개념을 이해하는 능력은 향상되지 않을 뿐만 아니라 오히려 감소할 수 있다는 것을 발견했습니다. 매개변수가 2206만에서 3.0437억으로 증가한 후, 구체적 개념 작업은 74.94%에서 85.87%로 상승했지만, 추상적 개념 작업은 54.37%에서 52.82%로 하락했습니다.

인간과 모델 사고 방식의 차이

인간 뇌는 개념을 처리할 때 먼저 분류 관계 체계를 형성합니다. 백조와 올빼미는 생김새가 다르지만, 사람은 여전히 그것들을 새라는 범주에 넣습니다. 더 위로 올라가면, 새와 말은 동물이라는 층위에 계속 넣을 수 있습니다. 사람은 새로운 것을 볼 때, 그것이 이전에 본 어떤 것과 비슷한지, 대략 어느 범주에 속하는지 먼저 생각하는 경우가 많습니다. 사람은 새로운 개념을 지속적으로 학습한 다음 경험을 조직화하여, 이 체계를 사용해 새로운 사물을 인식하고 새로운 상황에 적응합니다.

모델도 분류하지만, 형성 방식이 다릅니다. 그것은 주로 대규모 데이터에서 반복적으로 나타나는 패턴에 의존합니다. 구체적 객체가 더 많이 나타날수록 모델이 그것을 인식하기 더 쉬워집니다. 더 큰 범주 단계에 이르면, 모델은 비교적 어려움을 겪습니다. 그것은 여러 객체 간의 공통점을 포착한 다음, 이러한 공통점을 동일한 범주로 묶어야 합니다. 기존 모델은 여기에 아직도 명백한 단점이 있습니다. 매개변수가 계속 증가하면, 구체적 개념 작업은 향상되는 반면, 추상적 개념 작업은 때로는 하락하기도 합니다.

인간 뇌와 모델의 공통점은 내부적으로 모두 분류 관계 체계를 형성한다는 것입니다. 그러나 양측의 중점은 다릅니다. 인간 뇌의 고차 시각 영역은 생물과 비생물 같은 큰 범주를 자연스럽게 구분합니다. 반면 모델은 구체적 객체를 구별할 수 있지만, 이러한 더 큰 분류를 안정적으로 형성하기는 어렵습니다. 이 차이로 인해 인간 뇌는 오래된 경험을 새로운 객체에 적용하기가 더 쉽기 때문에, 본 적 없는 것을 마주했을 때 우리는 빠르게 분류할 수 있습니다. 반면 모델은 기존 지식에 더 의존하기 때문에, 새로운 객체를 만났을 때 표면적 특징에 머무르기 더 쉽습니다. 논문에서 제시한 방법은 바로 이 특징을 중심으로 전개되어, 뇌 신호를 사용해 모델의 내부 구조를 제약하여 인간 뇌의 분류 방식에 더 가깝게 만듭니다.

저장대 팀의 해결책

팀이 제시한 해결책도 매우 독특한데, 매개변수를 계속 쌓는 것이 아니라 소량의 뇌 신호를 사용해 감독하는 것입니다. 여기서의 뇌 신호는 사람이 이미지를 볼 때의 뇌 활동 기록에서 나옵니다. 논문 원문에는 인간의 개념적 구조를 DNN에 이전한다고 쓰여 있습니다. 즉, 인간 뇌가 어떻게 분류하고, 어떻게 귀납하며, 어떻게 유사한 개념을 함께 배치하는지를 가능한 한 모델에게 가르친다는 뜻입니다.

팀은 150개의 알려진 훈련 범주와 50개의 본 적 없는 테스트 범주를 사용해 실험을 진행했습니다. 결과에 따르면, 이 훈련이 진행됨에 따라 모델과 뇌 표상 사이의 거리가 지속적으로 줄어들었습니다. 이 변화는 두 범주에서 동시에 나타났는데, 이는 모델이 단일 샘플이 아니라 진정으로 인간 뇌에 더 가까운 개념 조직 방식을 학습하기 시작했다는 것을 보여줍니다.

이 훈련을 거친 후, 모델은 샘플이 적을 때 학습 능력이 더 강해졌고, 새로운 상황에 직면했을 때 성능도 더 좋아졌습니다. 극소수의 예시만 제공하면서 모델이 생물과 비생물 같은 추상적 개념을 구분하도록 요구하는 작업에서, 모델은 평균 20.5% 향상되었으며, 매개변수가 훨씬 더 많은 대조 모델도 능가했습니다. 팀은 또한 별도로 31개의 특수 테스트를 진행했는데, 여러 유형의 모델 모두 약 10%에 가까운 향상을 보였습니다.

지난 몇 년간 모델 업계가 익숙한 경로는 더 큰 모델 규모였습니다. 저장대 팀은 다른 방향을 선택했는데, '더 크면 더 좋다'에서 '구조화되면 더 똑똑하다'로 나아간 것입니다. 규모 확장은 확실히 유용하지만, 주로 익숙한 작업에서의 성능을 향상시킵니다. 인간의 그런 추상적 이해와 전이 능력은 AI에게도 동등하게 중요하며, 이는 미래에 AI의 사고 구조를 인간 뇌에 더 가깝게 만들어야 합니다. 이 방향의 가치는 업계의 관심을 단순한 규모 확장에서 다시 인지 구조 자체로 되돌린다는 데 있습니다.

Neosoul과 미래

이는 더 큰 가능성을 제기합니다. AI의 진화는 반드시 모델 훈련 단계에서만 일어나는 것은 아닙니다. 모델 훈련은 AI가 어떻게 개념을 조직하고, 어떻게 더 높은 품질의 판단 구조를 형성할지를 결정할 수 있습니다. 실제 세계에 진입한 후에야 AI의 또 다른 층위의 진화가 막 시작됩니다: AI 에이전트의 판단이 어떻게 기록되고, 어떻게 검증되며, 어떻게 실제 상호 경쟁 속에서 끊임없이 성장하고 진화하는지, 마치 인간처럼 스스로 학습하고 진화하는지. 이것이 바로 Neosoul이 현재 하고 있는 일입니다. Neosoul은 단지 AI 에이전트가 답을 내놓게 하는 것이 아니라, AI 에이전트를 지속적인 예측, 지속적인 검증, 지속적인 결산, 지속적인 선별 시스템 안에 넣어, 예측과 결과 속에서 스스로를 끊임없이 최적화하게 하여, 더 나은 구조는 보존되고 더 나쁜 구조는 도태되도록 합니다. 저장대 팀과 Neosoul이 함께 지향하는 것은 사실 동일한 목표입니다: AI가 더 이상 문제만 풀지 않고, 포괄적인 사고 능력을 갖추고 끊임없이 진화하도록 하는 것입니다.