Salesforce의 AI 연구자들은 UAEval4RAG를 소개하며, RAG 시스템이 답변할 수 없는 쿼리를 거부하는 능력을 평가하는 새로운 기준을 도입했다. RAG는 모델 재교육 없이 응답을 가능케 하지만, 현재의 평가 프레임워크는 답변 가능한 질문들에 대한 정확성과 관련성에 초점을 맞추고, 부적절하거나 답변할 수 없는 요청을 거부하는 중요한 능력을 간과한다. 이는 현실 세계 응용 프로그램에서 부적절한 응답이 오인 또는 피해로 이어질 위험을 초래한다. 기존의 불가능성 평가 기준은 RAG 시스템에는 부족한데, 그 이유는 이러한 시스템이 미래의 데이터에 대해 미리 결정할 수 없기 때문이다.

<Mark Tech Post 뉴스 본문 전체읽기>