언어 모델(LMs)은 방대한 인터넷 텍스트 코퍼스에서 사전 학습될 때 인-컨텍스트 학습자로서의 뛰어난 능력을 갖추며, 몇 가지 작업 예시만으로도 효과적으로 일반화할 수 있습니다. 그러나 이러한 모델을 하위 작업에 대해 파인튜닝하는 것은 상당한 도전을 제기합니다. 파인튜닝은 수백 개에서 수천 개의 예시가 필요하지만, 결과적인 일반화 패턴에는 제약이 있습니다. 예를 들어, 모델이 하위 작업에 파인튜닝되면 해당 작업에 특화된 특성을 배우지만 다른 작업으로 일반화할 때 성능이 크게 저하될 수 있습니다. 이러한 이유로 언어 모델의 일반화 능력을 향상시키기 위한 새로운 방법이 연구되고 있습니다. 이러한 방법은 인-컨텍스트 학습과 파인튜닝 간의 간극을 줄이는 것에 중점을 두고 있습니다.

<Mark Tech Post 뉴스 본문 전체읽기>