오프라인 비디오-LLMs가 이제 실시간 스트림을 이해할 수 있습니다: 애플 연구원들이 멀티턴과 선제적 비디오 이해를 가능하게 하는 StreamBridge를 소개했습니다
비디오-LLMs는 한 번에 전체 사전 녹화된 비디오를 처리합니다. 그러나 로보틱스 및 자율 주행과 같은 응용 프로그램은 시간적으로 이해와 응답이 중요한 스트리밍 시나리오에서 작동하도록 설계되지 않은 현재 비디오-LLMs의 한계를 보여줍니다. 이러한 불일치는 현재의 비디오-LLMs가 실시간 시나리오에서 운영되도록 자연스럽게 설계되지 않았기 때문에 발생합니다. 애플의 연구자들은 StreamBridge를 소개함으로써 오프라인에서 실시간 스트리밍으로의 전환을 가능하게 했습니다. StreamBridge는 비디오-LLMs가 실시간 비디오 스트림을 이해하고 멀티턴 및 선제적 비디오 이해를 가능하게 합니다. 이 기술은 로보틱스, 자율 주행 및 기타 실시간 비디오 처리 응용에 적합합니다.
출처: Mark Tech Post
요약번역: 미주투데이 김지호 기자