Home / Uncategorized / Cosmos3-H-Dreams: como a NVIDIA transforma vídeo cirúrgico em um simulador controlável em tempo real

Cosmos3-H-Dreams: como a NVIDIA transforma vídeo cirúrgico em um simulador controlável em tempo real

Em 20 de outubro de 2026 a NVIDIA publicou no blog da Hugging Face o Cosmos3-H-Dreams, um simulador generativo que recebe uma primeira imagem de uma cirurgia e um fluxo de comandos de instrumentos, e produz vídeo novo quadro a quadro reagindo a esses comandos. Segundo a NVIDIA, é o primeiro simulador cirúrgico generativo em tempo real treinado em dados clínicos de colecistectomia a suportar controle cinemático ao vivo. O modelo foi lançado sob a NVIDIA Open Model License, com checkpoints no Hugging Face e código no GitHub.

O que me interessa aqui não é a demo, é o mecanismo. Como um modelo de vídeo consegue rodar a 30+ quadros por segundo em uma única GPU, mantendo coerência anatômica em cima das próprias saídas, e ao mesmo tempo obedecendo controles em tempo real. É isso que vamos destrinchar.

O que é um world foundation model nesse contexto

Antes de entrar no Cosmos3-H-Dreams em si, precisa entender a categoria. Um world foundation model (WFM) é um modelo generativo que aprende a dinâmica visual de um ambiente diretamente dos dados, sem alguém escrever as equações de física por trás.

A alternativa à simulação numérica é não modelar explicitamente geometria da cena, deformação de tecido e interações físicas, e sim aprender as dinâmicas visuais diretamente a partir de vídeo sincronizado com cinemática de robô. Em simulador tradicional (tipo o que você vê em Isaac Sim ou em um motor de física clássico), alguém implementou um solver que resolve, a cada passo, forças, colisões, deformação de malha. No WFM, ninguém escreveu isso. O modelo olhou muito vídeo de cirurgia junto com os sinais dos braços do robô, e aprendeu a prever “se o braço esquerdo se move assim, o pixel ali muda assim”.

Pense em um teclado musical. Um sintetizador clássico tem osciladores, filtros, envelopes, cada parâmetro corresponde a algo físico modelado. Um sampler neural só tem gravações e um modelo que aprendeu a interpolar entre elas quando você aperta uma tecla nova. Ambos tocam, mas o segundo não sabe por que o som é assim, só que historicamente foi. A analogia quebra porque o WFM precisa manter coerência temporal longa, enquanto um sampler devolve nota por nota independente.

Como o Cosmos3-H-Dreams gera vídeo passo a passo

Entrada: frame inicial mais 28 dimensões de ação

O sistema é construído sobre o Cosmos3-H-Embodied-Nano, de 16 bilhões de parâmetros, e usa 28 dimensões de ação cobrindo pose e gripper para ambos os braços, mais controles de energia e entradas de thumbstick. O que entra, a cada passo, é um vetor com esses 28 números descrevendo o que o cirurgião está fazendo naquele instante, e o modelo decide os próximos quadros.

O treino usou vídeo em 832×480 a 10 Hz, destilado em checkpoints alunos de quatro passos e dois passos para inferência mais rápida. Repare: 10 Hz é a taxa em que ações e quadros estão alinhados no treino, não a taxa de geração em runtime, que é muito maior graças ao FlashDreams.

O professor bidirecional e o aluno causal

Essa é a parte que mais confunde. A arquitetura envolve dois modelos: um professor e um aluno.

O professor é bidirecional: ele vê um bloco de quadros inteiro e refina todos juntos, cada quadro podendo “olhar” para o passado e para o futuro durante a geração. Isso dá qualidade visual alta, mas não serve para interação em tempo real, porque você não tem o futuro ainda. Primeiro o professor bidirecional é adaptado em 24 quadros futuros, depois o horizonte é estendido para 72 quadros, 2.4 e 7.2 segundos a 10 Hz, dando ao professor sequências mais longas para aprender dinâmicas cirúrgicas.

O aluno é causal: ele só olha para o passado, gera o próximo bloco de quadros assim que uma ação nova chega, e segue adiante. É essa estrutura que permite interatividade. A questão é como transferir a qualidade do professor para o aluno sem perder coerência quando o aluno começa a se alimentar das próprias saídas.

Teacher forcing, Self-Forcing e o problema do erro acumulado

Imagine ensinar alguém a dirigir sempre dando a direção certa no instante anterior. A pessoa aprende a reagir, mas quando dirige sozinha e erra uma curva, ela nunca aprendeu a corrigir o próprio erro, porque no treino o erro nunca aconteceu. É esse o problema, e tem nome: exposure bias.

Teacher forcing padrão treina modelos de difusão condicionando a denoising de cada quadro em quadros de contexto limpos, de ground truth. Em tempo de inferência, no entanto, o modelo precisa condicionar nas próprias saídas geradas anteriormente, criando um mismatch de distribuição que causa erros compostos em rollouts longos.

A resposta é o Self-Forcing. O paradigma remedia isso desenrolando a cadeia de geração autoregressiva durante o treino, forçando contexto gerado pelo próprio modelo (self-rollout), e explicitamente ensinando o modelo a se recuperar e corrigir seus próprios erros ao longo de horizontes arbitrariamente longos. No Cosmos3-H-Dreams, o fluxo é: teacher forcing causal prepara o aluno com contexto gravado, depois Self-Forcing treina em cima do contexto que ele mesmo gerou, guiado pelo professor e por um crítico aprendido.

Quatro passos, dois passos: o que são os checkpoints

Um modelo de difusão clássico precisa de dezenas de passos de denoising para gerar uma amostra limpa. Para rodar em tempo real, isso é inviável. A destilação reduz esse número.

O primeiro aluno liberado usa quatro passos de denoising por bloco gerado. Depois esse aluno é treinado adicionalmente com um schedule de dois passos para produzir o segundo checkpoint. O modelo de dois passos é treinado separadamente, não é simplesmente o de quatro passos rodando com menos amostras. Essa distinção importa: se você só reduzisse o número de passos no inference, a qualidade cairia catastroficamente, porque o schedule original não foi otimizado para dois passos. O aluno de dois passos foi re-treinado para que cada passo faça mais trabalho.

FlashDreams e o cache de atenção que não para de crescer

Mesmo com dois passos de denoising, ainda falta a camada de serving. É aí que entra o FlashDreams. O FlashDreams fornece gerenciamento de cache AR, wrapping torch.compile/CUDA-graph, e decode rápido de VAE/TAEHV.

O problema sutil aqui é o cache de key/value da atenção. Em um transformer autoregressivo, cada novo bloco de quadros atende a todo o histórico, e o KV cache cresce sem limite. Rollout de três minutos vira um cache que não cabe mais na GPU, e o custo de atenção explode.

A solução no Cosmos3-H-Dreams é o FadeMem. O FlashDreams gerencia a geração em streaming, enquanto um módulo FadeMem adaptado consolida o histórico de atenção durante sessões longas. Em outras palavras, em vez de guardar todas as chaves e valores de cada quadro passado, o FadeMem combina os antigos em uma representação comprimida, mantendo o custo da atenção constante. É análogo a como você não lembra cada frame dos últimos cinco minutos vendo um vídeo, mas lembra do essencial do que aconteceu.

Juntas, essas técnicas levam o world model cirúrgico destilado do regime de aproximadamente dez quadros por segundo da inferência padrão para operação interativa (aproximadamente 160 quadros por segundo) em uma única NVIDIA RTX PRO 6000.

O que isso significa na prática

Um fluxo mínimo para quem quer experimentar segue mais ou menos esta forma. Dado um primeiro frame condicional de um procedimento cirúrgico e um stream ao vivo de vetores de ação de instrumentos, o modelo avança em blocos de quadros gerados e faz streaming da saída para um navegador ou headset VR em tempo real via WebRTC.

Em prática, você sobe o servidor, abre um cliente de teclado ou um Meta Quest, e cada tecla ou movimento do controle vira um vetor de 28 dimensões que entra no modelo. O comando do GitHub é essencialmente:

uv run --package flash-cosmosHDreams python -m cosmosHDreams.webrtc.server \
 --config cosmosHDreams/configs/keyboard_tabletop.yaml

Depois é só abrir http://0.0.0.0:8080/keyboard em qualquer navegador para começar a controlar o robô cirúrgico.

Para adaptar a outro dataset, a arquitetura exige vídeo sincronizado com cinemática e um espaço de ação compatível. Nos livros que escrevi, entre eles a série IA na Prática, uma coisa que fica clara ao destrinchar modelos como esse é que a cola entre dados e controle (as convenções de normalização, a frequência de amostragem, o alinhamento temporal) consome muito mais tempo que treinar o modelo em si. Aqui não é diferente: trocar embodiment significa refazer todo esse alinhamento.

Onde o modelo quebra

A primeira limitação é escopo. O modelo foi treinado em colecistectomia (remoção da vesícula) com dois instrumentos específicos. A seleção de amostras foca em dois instrumentos visíveis e engajados, um Cadiere grasper esquerdo e um hook monopolar direito, e limita comandos de câmera para enfatizar interação dirigida por instrumentos. Fora disso, não há garantia.

A segunda, e essa é fundamental: realismo visual não é correção física. Realismo visual é portanto um ponto de partida para validação, não prova de acurácia biomecânica. O tecido pode se deformar de um jeito que parece convincente e que seria mecanicamente impossível. Isso tem implicação direta: usar isso para treinar política autônoma que vai operar em paciente é prematuro, e os próprios autores dizem isso. A empresa enfatiza que o Cosmos3-H-Dreams é uma ferramenta de pesquisa, não um sistema clínico validado para cuidado de paciente.

A terceira é hardware. Uma única NVIDIA RTX PRO 6000 é suficiente para rodar interativamente. O modelo é acelerado com FlashDreams, biblioteca de streaming inference, e usa checkpoints destilados de quatro ou dois passos de denoising que trocam qualidade visual por menor custo de inferência durante controle ao vivo. RTX PRO 6000 não é hardware de laboratório comum. Para quem quer rodar isso em casa com um RTX de consumo, não vai dar na mesma frequência, se é que roda.

A quarta é interface. Publicando design system e style guide de interface, uma coisa que percebo nesses lançamentos é que o controle do simulador quase sempre fica como “abra o navegador e aperte teclas”. Para ser realmente utilizável por um cirurgião em estudo clínico, essa interação precisa de muito trabalho que não é mencionado no release.

O que ainda não dá para afirmar

Alguns pontos ficam em aberto no material publicado. Não há benchmark comparativo divulgado contra simuladores numéricos tradicionais em métricas de deformação de tecido, só comparação qualitativa. Não há métrica quantitativa de quanto o FadeMem comprime o cache versus perda de coerência em rollouts de vários minutos. E não há dados públicos sobre quantos casos clínicos entraram no treino, nem a distribuição de fases do procedimento (dissecção, clipagem, corte), o que importa para saber onde o modelo tende a falhar.

O artigo da NVIDIA também lista como direção futura “avaliar com cirurgiões” e “desenvolver políticas cirúrgicas autônomas”, o que confirma que ambas ainda não aconteceram de forma sistemática.

Como testar isso você mesmo

Um caminho curto, se você tem acesso a GPU adequada:

  • Baixe o checkpoint em huggingface.co/nvidia/Cosmos3-H-Dreams.
  • Clone o repositório Cosmos-H-Dreams no GitHub (do grupo isaac-for-healthcare).
  • Rode o servidor WebRTC com o config de teclado e conecte pelo navegador. Teste o checkpoint de quatro passos primeiro, depois o de dois passos, comparando qualidade visual e latência percebida.
  • Faça um rollout longo (vários minutos de interação contínua) e observe a coerência: a geometria do instrumento se mantém? A anatomia deriva? É aí que o Self-Forcing e o FadeMem mostram se funcionam no seu caso.
  • Se quiser adaptar a outro domínio, siga o guia de teacher fine-tuning e Self-Forcing distillation linkado no post original, lembrando que você precisa de vídeo sincronizado com um stream de ações no mesmo esquema de normalização.

O interessante do Cosmos3-H-Dreams não é a cirurgia em si, é a receita: professor bidirecional, aluno causal, destilação para poucos passos, Self-Forcing para corrigir deriva, FadeMem para segurar o cache. Essa combinação é generalizável para qualquer domínio onde você tem vídeo sincronizado com controle. Vale olhar como arquitetura de referência, não só como demo médica.

Deixe um Comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *