인간의 추론은 주로 추상적이고 비언어적인 개념을 통해 작동되지만 현재의 대형 언어 모델은 사전 정의된 어휘를 통해 한 번에 하나의 토큰을 생성하며 자연어의 범위 내에서만 추론하는 것으로 제한되어 있다. 이러한 토큰 단위 접근 방식은 모델의 표현 능력을 제한할 뿐만 아니라 범위도 제한한다. 이 문제를 해결하기 위해 연구자들은 소프트 씽킹을 도입하여 이산 토큰 대신 연속적인 개념 임베딩으로 대체했다. 이러한 접근 방식은 모델이 보다 넓은 문맥에서 추론하고 이해할 수 있도록 도와준다.

<Mark Tech Post 뉴스 본문 전체읽기>