현재의 대규모 언어 모델(Large Language Models, LLMs)인 GPT-4o 또는 Gemini-1.5는 로컬 배포에는 너무 큽니다. 이는 모델 크기의 많은 부분이 전 세계의 일반적인 정보를 기억하는 데 사용되기 때문일 수 있습니다. 이러한 내재적 데이터 기억은 LLM의 “발생적” 현상과 관련이 있을 수 있습니다. 이에 대한 연구 질문은 “적은 매개 메모리를 가진 작은 언어 모델이 이러한 대규모 언어 모델의 발생적 능력을 흉내 낼 수 있는가?”입니다. 작은 언어 모델(SLM)을 개발하여 복잡한 추론을 수행할 수 있도록 하고, 보안 및 프라이버시를 유지한 채 에지에 배포할 수 있도록 하는 것이 목표입니다. 기본적으로 작은 모델들은 함수 호출 능력이 매우 낮습니다. 이를 해결하기 위해 고품질의 데이터를 사용하여 모델을 세밀하게 튜닝하고, 새로운 Tool RAG 방법을 통해 성능을 높일 수 있습니다. 마지막으로, 최종 모델을 실시간 응답으로 효율적으로 에지에 배포할 수 있습니다.

<The Berkeley Artificial Intelligence Research 뉴스 본문 전체읽기>