NVIDIA는 2026년 10월에 Cosmos3-H-Dreams를 정식으로 출시했으며, 이는 실제 임상 담낭절제술 영상과 로봇 운동학 동기화 데이터를 기반으로 훈련된 세계 최초의 실시간 생성형 외과 시뮬레이터입니다. 이 시스템은 CMR Surgical Versius 수술 로봇 플랫폼에서 임상 작업 데이터를 수집하며, 사용자가 Cadiere 집게와 단극 후크 등 다양한 기구의 실시간 움직임 명령(자세, 집게력, 에너지 출력 등 28개의 동작 변수 포함)을 통해 연속적인 비디오 프레임을 생성하도록 지원합니다. 응답 지연 시간이 상호작용 요구 사항을 충족하며, NVIDIA RTX PRO 6000 GPU 한 대에서 실시간으로 구동됩니다.
이전 세대의 Cosmos-H-Dreams(데스크톱 스티칭 작업에 초점)와 달리, Cosmos3-H-Dreams는 인체 내 수술 환경의 복잡성을 직접적으로 직면합니다. 미세한 기구의 움직임으로 인해 조직의 견인, 구조물의 가림, 거울 표면 반사로 인한 편향, 전기응고 연기 등의 강한 상호작용을 유발하는 시각적 동역학이 발생하며, 이는 모델이 해부학적 구조와 기구의 기하학적 일관성을 유지하는 전제 하에 동작 조건에서 장기간에 걸친 시계열적 연속성 있는 생성을 수행할 것을 요구합니다. 이를 위해 Cosmos3-H-Embodied-Nano(160억 개의 파라미터)를 기반으로 삼고, 담낭절제술 전용 데이터로 미세 조정하여 양방향 교사 모델을 구축한 뒤, 두 단계의 증류 과정을 통해 인과형 학생 모델을 생성했습니다. 첫 번째 버전은 4단계 노이즈 제거를 적용했으며, 이후 버전에서는 시각 품질과 추론 속도 간의 균형을 맞추기 위해 2단계 노이즈 제거로 더욱 압축되었습니다.
기술 구현 측면에서, 시스템은 FlashDreams를 통합하여 스트리밍 추론을 가속화하고, 개선된 FadeMem 모듈을 도입해 주의 키값 캐시를 동적으로 압축함으로써 긴 시퀀스 생성 시 발생하는 메모리 팽창 문제를 해결합니다. 학습 전략으로는 ‘인과적 교사 강제’와 ‘자기 강제(Self-Forcing)’를 결합하여, 학생 모델이 스스로 생성한 과거 문맥 속에서 지속적으로 보정되도록 함으로써 오차 누적을 억제합니다. 시연 결과에 따르면, 동일한 초기 화면이 서로 다른 기구 움직임 시퀀스에 의해 구동될 때에도 물리적 직관에 부합하는 차별화된 조직 변형과 기구 반응을 생성할 수 있으며, 이는 미지의 궤적에 대한 일반화 능력을 검증합니다.
NVIDIA는 Cosmos3-H-Dreams가 순수한 연구 도구이며, 임상 검증을 거친 의료기기가 아니므로 환자 진료에 사용되지 않는다고 명확히 강조했습니다. 현재 이 제품의 기능은 담낭절제술과 관련된 특정 시나리오에 한정되며, Versius 플랫폼에서 수집된 두 개의 의료기기가 협력하는 동작만 지원합니다. 또한 모든 모델 가중치, 학습 코드, 데이터셋(Open-H-Embodiment), 적응 가이드라인 및 FlashDreams 실행 라이브러리는 오픈소스로 공개되어 있어, 연구자들이 자체 비디오-동작 데이터와 컨트롤러를 활용해 전이 학습을 수행할 수 있지만, 원래의 동작 표현 방식과 정규화 규격을 엄격히 준수해야 합니다.
향후 방향으로는 다음과 같은 내용이 포함된다: 담낭 절제의 전 과정을 포괄하며 정량화 가능한 작업 범위와 성공 기준을 정의하는 것; 명시적 조직 역학 모델링과 같은 수치 시뮬레이션을 융합하여 생체역학의 해석 가능성을 강화하는 것; 외과의사 주도의 해부학적 정확성 및 조작 피드백 평가를 수행하는 것; 다중 의료기기 협업과 자율적 전략의 폐쇄 루프 훈련으로 확장하는 것. 이들 모두는 아직 임상 적용 가능성이 확립되지 않은 개방형 연구 과제이다.