요약: 비전 언어 모델(VLM)은 녹화된 영상을 해석하고 인사이트를 제공하기 위해 소비자용 스마트홈 카메라 시스템에서 점점 더 널리 채택되고 있습니다. 그러나 스마트홈 카메라가 캡처한 영상 클립은 기존 VLM 벤치마크를 주도하는 큐레이션된 웹 영상과는 다릅니다. 스마트홈 영상 클립은 자막이나 내레이션이 없고, 다양한 시야각에서, 여러 조명 조건 하에, 그리고 다양한 상황에서 촬영되는 경우가 많습니다. 그럼에도 불구하고, 이러한 희박한 시각적 신호와 제한된 맥락 속에서 모델의 성능은 기존 VLM 벤치마크로는 충분히 평가되지 못했습니다. 이 격차를 메우기 위해 우리는 스마트홈 영상 이해력을 평가하기 위한 시각 전용 4지선다형 벤치마크인 OpenHome을 도입합니다. 이 벤치마크는 1,118개의 실제 영상 클립을 기반으로 한 2,254개의 질문을 포함하며, 10개의 과제를 세 가지 역량 수준으로 구분합니다. Perception은 가시적 내용을 평가하고, Reasoning은 인과적·공간적·시간적 관계를 평가하며, Insight는 주체의 의도, 근거 및 적절한 주인의 대응을 평가합니다. 본 데이터셋을 바탕으로 과제 설계, 데이터 파이프라인 및 평가 프로토콜을 설명하고, 32개의 폐쇄형 및 개방형 가중치 VLM에 대한 결과를 보고합니다. 최고 성능의 모델인 Gemini 4 Argon은 전체 정확도 81.2%를 달성합니다. 선도적인 폐쇄형 모델들은 모든 수준에서 개방형 모델들을 앞서며, 최고의 폐쇄형 모델은 Perception에서 최고의 개방형 모델보다 16.3%, Reasoning에서 22.4%, Insight에서 37.4% 높은 성능을 보입니다.
투고 이력
논문 보기:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
Google 학술검색
Semantic Scholar
북마크
기관
arXivLabs는 협력자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 함께 일하는 개인과 조직 모두는 개방성, 커뮤니티, 우수성, 그리고 사용자 데이터 개인정보 보호라는 당사의 가치를 수용하고 받아들였습니다. arXiv은 이러한 가치에 헌신하며, 이에 부합하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.