이번 포스트에서는 아마존 노바 소닉 음성 에이전트를 평가하기 위한 오픈 소스 프레임워크인 노바 소닉 테스트 하네스를 소개합니다. 이 프레임워크는 시스템 프롬프트와 도구 구성을 조정하는 데 유용한 빠른 반복 도구 역할을 하며, 음성 에이전트의 품질을 대규모로 검증하는 포괄적인 평가 프레임워크로 기능합니다. 노바 소닉 테스트 하네스는 아마존 노바 소닉과의 완전한 다중 턴 대화를 자동으로 실행하고, LLM-as-judge 기법을 사용하여 이를 평가합니다. 또한 모델의 오디오 출력이 텍스트 출력과 일치하지 않는 경우(오디오 환각)를 감지할 수 있는 기능도 제공합니다. 이 모든 과정은 마이크 없이 진행됩니다.

<AWS Blog 뉴스 본문 전체읽기>