NVIDIAは2026年10月に、実際の臨床における胆嚢摘出術の動画とロボットの運動学的同期データを基に訓練された、世界初のリアルタイム生成型外科手術シミュレーター「Cosmos3-H-Dreams」を正式に発表しました。このシステムはCMR SurgicalのVersius手術ロボットプラットフォーム上で臨床操作データを収集し、Cadiere把持鉗子や単極フックなどの各種器具のリアルタイムな動作指令（姿勢・位置、把持力、エネルギー出力など28次元の動作情報を含む）によって、連続したビデオフレームの生成を駆動します。応答遅延はインタラクション要件を満たしており、NVIDIA RTX PRO 6000 GPU 1枚でリアルタイムに動作可能です。
前世代のCosmos-H-Dreams（デスクトップ上の縫合タスクに特化）とは異なり、Cosmos3-H-Dreamsは人体内手術環境の複雑さに正面から向き合っています。微小な手術器具の動作によって生じる組織の牽引、構造物による遮蔽、鏡面反射の偏移、電気凝固によるスモークの干渉など、強相関した視覚的動態が存在し、解剖学的構造と器具の幾何学的一致性を維持しつつ、動作条件下での長期にわたる時系列の一貫性ある生成が求められます。そのため、Cosmos3-H-Embodied-Nano（160億パラメータ）を基盤として用い、胆嚢摘出術専用データで微調整を行った双方向教師モデルを構築し、さらに二段階の蒸留により因果型学生モデルを生成しました。初版では4ステップのノイズ除去を実施し、次版では視覚品質と推論速度のバランスを図るため、さらに2ステップのノイズ除去へと圧縮しています。
技術実装においては、システムにFlashDreamsによる高速なストリーミング推論を統合し、改良版のFadeMemモジュールを導入してアテンションのキー・バリュー・キャッシュを動的に圧縮することで、長文シーケンス生成におけるメモリ膨張問題を解決しています。学習戦略としては、「因果的教師強制」と「自己強制（Self-Forcing）」を組み合わせることで、学生モデルが自身で生成した過去の文脈に基づいて継続的に校正され、誤差の蓄積を抑制しています。デモンストレーションでは、同一の初期フレームを異なる機器動作シーケンスによって駆動することで、物理的な直感に合致した多様な組織変形と機器の応答を生成できることを示し、未見の軌跡に対する汎化能力を実証しました。
NVIDIAは明確に強調しています：Cosmos3-H-Dreamsは純粋な研究用ツールであり、臨床試験で検証された医療機器ではなく、患者の診療には使用されません。現在の機能は胆嚢摘出術の特定のシナリオに限定されており、Versiusプラットフォームから取得した二重器械による協調動作のみをサポートしています。また、すべてのモデル重み、学習コード、データセット（Open-H-Embodiment）、適合ガイドおよびFlashDreams実行ライブラリはオープンソースとして公開されており、研究者が自前の映像・動作データとコントローラーを用いて移行学習を行うことが可能ですが、元の動作表現および正規化規格を厳格に遵守する必要があります。
今後の方向性には、胆嚢摘出の全プロセスをカバーし、定量的なタスクの境界と成功基準を定義すること、数値シミュレーション（例えば明示的組織力学モデル）を組み込んで生体力学的解釈可能性を高めること、外科医主導による解剖学的正確性および操作フィードバックの評価を実施すること、さらに複数の手術器具の協調作業や自律型戦略の閉ループ訓練への拡張が含まれる。これらはいずれも未だに臨床展開に至っていない、オープンな研究課題である。