본문으로 건너뛰기
AI NEWS JOURNAL
마크테크포스트AI NEWS / JOURNAL

Kyutai는 CADRE 비디오 자동부호화기 계열을 출시했습니다: 대화형 세계 모델을 지향하며, 엔드투엔드 동작 지연 시간을 230밀리초 이하로 낮췄습니다.

Kyutai는 2026년 10월 23일, 세계 모델의 동작 지연을 줄이도록 설계된 7개의 오픈소스 인과 확산형 비디오 자동부호화기로 구성된 모델 패밀리인 CADRE를 공개했다. 단일 H100 GPU에서 측정한 반응 지연은 최저 185ms에 달하며, 추론 속도는 23.4fps에 이르고, 시나리오 FVD 지표는 162.6으로 낮아졌다(와니 2.2의 경우 599.7). 다만 로봇 작업 과제에서는 동작 추종률(ARR)이 와니 2.2 및 코스모스에 비해 다소 떨어진다.

Kyutai는 2026년 10월 23일, 상호작용형 세계 모델을 위한 오픈소스 비디오 자동부호화기 패밀리인 CADRE(Causal Diffusion Representation Autoencoders)를 발표했습니다. 이 패밀리는 총 7가지 변형으로 구성되며, 각 모델의 파라미터 수는 약 4.76억 개이며, 여기에 동결된 DINOv3 ViT-B/16 메인 스트림 8,600만 개가 추가됩니다. 모든 모델은 ‘액션 지연’이라는 핵심 병목 현상을 최적화했으며, H100 GPU 한 장( bf16, batch=1)에서 최적 설정인 CADRE-2×32×32 기준으로 엔드투엔드 응답 지연은 185ms, 지속적인 추론 프레임률은 23.4fps를 달성해, 전체적으로 인간이 인지할 수 있는 지연 임계값(약 230ms)을 하회합니다. 해당 기술은 12억 개의 파라미터를 갖는 인과 확산 세계 모델에 통합되어, 2초 분량의 실제 비디오 입력을 바탕으로 4.8초 길이의 예측 시퀀스를 생성하는 것을 지원합니다.

CADRE의 핵심 혁신은 구조적 분리와 학습 패러다임의 재구성에 있다: 인코더는 MIRA 방식을 재사용하여 DINOv3을 고정한 채 프레임 수준의 패치 특성을 추출한 뒤, 경량 3D 컨볼루션으로 압축해 64채널의 잠재 표현으로 변환한다. 디코더는 24층의 인과적 확산 트랜스포머를 채택해 스트리밍 방식의 블록 기반 디코딩을 지원하며, 단일 단계의 점진적 자기 증류를 통해 1~2단계의 고품질 재구성을 달성하고 대립적 손실을 제거한다. 모델은 23개의 공개 영상 데이터셋(총 약 76,000시간 규모로, 웹, 로봇, 자율주행 및 게임 영상을 포함)에서 학습을 완료했다.

벤치마크는 로봇 작업(ABC), 인간 손 작업(EgoDex), 자율주행(PhysicalAI AV) 및 실내 내비게이션(RealEstate10K)의 네 가지 주요 시나리오를 포괄하며, 모두 동일한 1.2B 규모의 세계 모델 아키텍처를 사용합니다. 평가 지표로는 이미지 품질(FID), 움직임 충실도(FVD) 및 동작 추종률(ARR, 고정된 역동학 프로브 기반, 1.0이 이상적 값)이 포함됩니다. 결과를 보면, 주행 시나리오에서는 CADRE-2×16×16이 FVD 162.6으로 Wan 2.2(599.7)와 LTX-2(913.3)보다 크게 우수했으나, 로봇 작업 과제에서는 ARR이 0.45(CADRE-2×32×32)로 Wan 2.2(0.85)와 Cosmos(0.78)에 비해 낮았습니다. 또한 이 과제에서 Cosmos의 FVD(39.5)는 CADRE의 최고값(47.6)보다 우수했습니다.

연구는 네 가지 핵심 규칙을 밝혀냈다: (1) 확산 디코딩은 높은 압축비에서도 전통적인 회귀 디코딩보다 훨씬 우수하며, 이는 움직임 흐림을 방지한다; (2) 시간 압축(τ)을 세계 모델 내부가 아닌 자동부호화기 내부로 이전하면 세부 표현의 보존이 향상된다; (3) 카메라의 움직임 상태에 따라 최적의 압축 전략이 결정되며, 정지 카메라는 높은 τ(예: τ=8)를 적용하는 것이 적합하고, 이동 카메라는 낮은 τ와 높은 공간 압축을 병행해야 한다; (4) 공간적 거칠기(예: 32×)는 우선 움직임 모델링 성능을 크게 저하시키며(FVD가 2.4배 증가), 정적 이미지 품질(FID)에는 거의 영향을 미치지 않는다. 또한, 장시간 시퀀스에서의 잠재 변수(τ=8)는 블록 간 눈에 띄는 조인트 아티팩트를 유발하며, 경계 오차는 1.6–1.8에 달한다.

CADRE 가중치는 Hugging Face에서 CC BY-NC 4.0 라이선스로 배포되며(상업적 이용은 금지됨), 코드는 MIT 라이선스를 적용합니다. 이와 함께 다중 해상도 향상 버전 4종, CADRE-2×16×16 기반의 사전 학습된 세계 모델 4종 및 키보드 드라이버를 활용한 실시간 시연이 제공됩니다. Kyutai는 높은 PSNR 재구성 성능(예: Wan 2.2의 경우 35.02 dB에 달함)이 곧 고품질 롤아웃을 의미하는 것은 아니며, Wan 2.2는 실내 내비게이션 FVD 지표에서 최하위를 기록했다고 강조합니다. 현재 제시된 모든 결론은 단일 환경 전용 모델(해상도 288×512)을 기반으로 하며, 이를 일반화된 세계 모델로 확장했을 때의 일반화 능력은 아직 검증되지 않았습니다.

자료 출처

원문 읽기 ↗

관련 주제

← 전체 소식 이어 읽기