{"id":791,"date":"2026-10-20T18:36:13","date_gmt":"2026-10-20T21:36:13","guid":{"rendered":"https:\/\/yellowkode.com\/blog\/cosmos3-h-dreams-nvidia-simulador-cirurgico\/"},"modified":"2026-10-20T18:36:13","modified_gmt":"2026-10-20T21:36:13","slug":"cosmos3-h-dreams-nvidia-simulador-cirurgico","status":"publish","type":"post","link":"https:\/\/yellowkode.com\/blog\/cosmos3-h-dreams-nvidia-simulador-cirurgico\/","title":{"rendered":"Cosmos3-H-Dreams: como a NVIDIA transforma v\u00eddeo cir\u00fargico em um simulador control\u00e1vel em tempo real"},"content":{"rendered":"<p>Em 20 de outubro de 2026 a NVIDIA publicou no blog da Hugging Face o <strong>Cosmos3-H-Dreams<\/strong>, um simulador generativo que recebe uma primeira imagem de uma cirurgia e um fluxo de comandos de instrumentos, e produz v\u00eddeo novo quadro a quadro reagindo a esses comandos. Segundo a NVIDIA, \u00e9 o primeiro simulador cir\u00fargico generativo em tempo real treinado em dados cl\u00ednicos de colecistectomia a suportar controle cinem\u00e1tico ao vivo. O modelo foi lan\u00e7ado sob a NVIDIA Open Model License, com checkpoints no Hugging Face e c\u00f3digo no GitHub.<\/p>\n<p>O que me interessa aqui n\u00e3o \u00e9 a demo, \u00e9 o mecanismo. Como um modelo de v\u00eddeo consegue rodar a 30+ quadros por segundo em uma \u00fanica GPU, mantendo coer\u00eancia anat\u00f4mica em cima das pr\u00f3prias sa\u00eddas, e ao mesmo tempo obedecendo controles em tempo real. \u00c9 isso que vamos destrinchar.<\/p>\n<h2>O que \u00e9 um world foundation model nesse contexto<\/h2>\n<p>Antes de entrar no Cosmos3-H-Dreams em si, precisa entender a categoria. Um <em>world foundation model<\/em> (WFM) \u00e9 um modelo generativo que aprende a din\u00e2mica visual de um ambiente diretamente dos dados, sem algu\u00e9m escrever as equa\u00e7\u00f5es de f\u00edsica por tr\u00e1s.<\/p>\n<p>A alternativa \u00e0 simula\u00e7\u00e3o num\u00e9rica \u00e9 n\u00e3o modelar explicitamente geometria da cena, deforma\u00e7\u00e3o de tecido e intera\u00e7\u00f5es f\u00edsicas, e sim aprender as din\u00e2micas visuais diretamente a partir de v\u00eddeo sincronizado com cinem\u00e1tica de rob\u00f4. Em simulador tradicional (tipo o que voc\u00ea v\u00ea em Isaac Sim ou em um motor de f\u00edsica cl\u00e1ssico), algu\u00e9m implementou um solver que resolve, a cada passo, for\u00e7as, colis\u00f5es, deforma\u00e7\u00e3o de malha. No WFM, ningu\u00e9m escreveu isso. O modelo olhou muito v\u00eddeo de cirurgia junto com os sinais dos bra\u00e7os do rob\u00f4, e aprendeu a prever &#8220;se o bra\u00e7o esquerdo se move assim, o pixel ali muda assim&#8221;.<\/p>\n<p>Pense em um teclado musical. Um sintetizador cl\u00e1ssico tem osciladores, filtros, envelopes, cada par\u00e2metro corresponde a algo f\u00edsico modelado. Um sampler neural s\u00f3 tem grava\u00e7\u00f5es e um modelo que aprendeu a interpolar entre elas quando voc\u00ea aperta uma tecla nova. Ambos tocam, mas o segundo n\u00e3o sabe por que o som \u00e9 assim, s\u00f3 que historicamente foi. A analogia quebra porque o WFM precisa manter coer\u00eancia temporal longa, enquanto um sampler devolve nota por nota independente.<\/p>\n<h2>Como o Cosmos3-H-Dreams gera v\u00eddeo passo a passo<\/h2>\n<h3>Entrada: frame inicial mais 28 dimens\u00f5es de a\u00e7\u00e3o<\/h3>\n<p>O sistema \u00e9 constru\u00eddo sobre o Cosmos3-H-Embodied-Nano, de 16 bilh\u00f5es de par\u00e2metros, e usa 28 dimens\u00f5es de a\u00e7\u00e3o cobrindo pose e gripper para ambos os bra\u00e7os, mais controles de energia e entradas de thumbstick. O que entra, a cada passo, \u00e9 um vetor com esses 28 n\u00fameros descrevendo o que o cirurgi\u00e3o est\u00e1 fazendo naquele instante, e o modelo decide os pr\u00f3ximos quadros.<\/p>\n<p>O treino usou v\u00eddeo em 832&#215;480 a 10 Hz, destilado em checkpoints alunos de quatro passos e dois passos para infer\u00eancia mais r\u00e1pida. Repare: 10 Hz \u00e9 a taxa em que a\u00e7\u00f5es e quadros est\u00e3o alinhados no treino, n\u00e3o a taxa de gera\u00e7\u00e3o em runtime, que \u00e9 muito maior gra\u00e7as ao FlashDreams.<\/p>\n<h3>O professor bidirecional e o aluno causal<\/h3>\n<p>Essa \u00e9 a parte que mais confunde. A arquitetura envolve dois modelos: um <em>professor<\/em> e um <em>aluno<\/em>.<\/p>\n<p>O professor \u00e9 bidirecional: ele v\u00ea um bloco de quadros inteiro e refina todos juntos, cada quadro podendo &#8220;olhar&#8221; para o passado e para o futuro durante a gera\u00e7\u00e3o. Isso d\u00e1 qualidade visual alta, mas n\u00e3o serve para intera\u00e7\u00e3o em tempo real, porque voc\u00ea n\u00e3o tem o futuro ainda. Primeiro o professor bidirecional \u00e9 adaptado em 24 quadros futuros, depois o horizonte \u00e9 estendido para 72 quadros, 2.4 e 7.2 segundos a 10 Hz, dando ao professor sequ\u00eancias mais longas para aprender din\u00e2micas cir\u00fargicas.<\/p>\n<p>O aluno \u00e9 causal: ele s\u00f3 olha para o passado, gera o pr\u00f3ximo bloco de quadros assim que uma a\u00e7\u00e3o nova chega, e segue adiante. \u00c9 essa estrutura que permite interatividade. A quest\u00e3o \u00e9 como transferir a qualidade do professor para o aluno sem perder coer\u00eancia quando o aluno come\u00e7a a se alimentar das pr\u00f3prias sa\u00eddas.<\/p>\n<h3>Teacher forcing, Self-Forcing e o problema do erro acumulado<\/h3>\n<p>Imagine ensinar algu\u00e9m a dirigir sempre dando a dire\u00e7\u00e3o certa no instante anterior. A pessoa aprende a reagir, mas quando dirige sozinha e erra uma curva, ela nunca aprendeu a corrigir o pr\u00f3prio erro, porque no treino o erro nunca aconteceu. \u00c9 esse o problema, e tem nome: <em>exposure bias<\/em>.<\/p>\n<p>Teacher forcing padr\u00e3o treina modelos de difus\u00e3o condicionando a denoising de cada quadro em quadros de contexto limpos, de ground truth. Em tempo de infer\u00eancia, no entanto, o modelo precisa condicionar nas pr\u00f3prias sa\u00eddas geradas anteriormente, criando um mismatch de distribui\u00e7\u00e3o que causa erros compostos em rollouts longos.<\/p>\n<p>A resposta \u00e9 o <strong>Self-Forcing<\/strong>. O paradigma remedia isso desenrolando a cadeia de gera\u00e7\u00e3o autoregressiva durante o treino, for\u00e7ando contexto gerado pelo pr\u00f3prio modelo (self-rollout), e explicitamente ensinando o modelo a se recuperar e corrigir seus pr\u00f3prios erros ao longo de horizontes arbitrariamente longos. No Cosmos3-H-Dreams, o fluxo \u00e9: teacher forcing causal prepara o aluno com contexto gravado, depois Self-Forcing treina em cima do contexto que ele mesmo gerou, guiado pelo professor e por um cr\u00edtico aprendido.<\/p>\n<h3>Quatro passos, dois passos: o que s\u00e3o os checkpoints<\/h3>\n<p>Um modelo de difus\u00e3o cl\u00e1ssico precisa de dezenas de passos de denoising para gerar uma amostra limpa. Para rodar em tempo real, isso \u00e9 invi\u00e1vel. A destila\u00e7\u00e3o reduz esse n\u00famero.<\/p>\n<p>O primeiro aluno liberado usa quatro passos de denoising por bloco gerado. Depois esse aluno \u00e9 treinado adicionalmente com um schedule de dois passos para produzir o segundo checkpoint. O modelo de dois passos \u00e9 treinado separadamente, n\u00e3o \u00e9 simplesmente o de quatro passos rodando com menos amostras. Essa distin\u00e7\u00e3o importa: se voc\u00ea s\u00f3 reduzisse o n\u00famero de passos no inference, a qualidade cairia catastroficamente, porque o schedule original n\u00e3o foi otimizado para dois passos. O aluno de dois passos foi re-treinado para que cada passo fa\u00e7a mais trabalho.<\/p>\n<h3>FlashDreams e o cache de aten\u00e7\u00e3o que n\u00e3o para de crescer<\/h3>\n<p>Mesmo com dois passos de denoising, ainda falta a camada de serving. \u00c9 a\u00ed que entra o FlashDreams. O FlashDreams fornece gerenciamento de cache AR, wrapping torch.compile\/CUDA-graph, e decode r\u00e1pido de VAE\/TAEHV.<\/p>\n<p>O problema sutil aqui \u00e9 o cache de key\/value da aten\u00e7\u00e3o. Em um transformer autoregressivo, cada novo bloco de quadros atende a todo o hist\u00f3rico, e o KV cache cresce sem limite. Rollout de tr\u00eas minutos vira um cache que n\u00e3o cabe mais na GPU, e o custo de aten\u00e7\u00e3o explode.<\/p>\n<p>A solu\u00e7\u00e3o no Cosmos3-H-Dreams \u00e9 o <strong>FadeMem<\/strong>. O FlashDreams gerencia a gera\u00e7\u00e3o em streaming, enquanto um m\u00f3dulo FadeMem adaptado consolida o hist\u00f3rico de aten\u00e7\u00e3o durante sess\u00f5es longas. Em outras palavras, em vez de guardar todas as chaves e valores de cada quadro passado, o FadeMem combina os antigos em uma representa\u00e7\u00e3o comprimida, mantendo o custo da aten\u00e7\u00e3o constante. \u00c9 an\u00e1logo a como voc\u00ea n\u00e3o lembra cada frame dos \u00faltimos cinco minutos vendo um v\u00eddeo, mas lembra do essencial do que aconteceu.<\/p>\n<p>Juntas, essas t\u00e9cnicas levam o world model cir\u00fargico destilado do regime de aproximadamente dez quadros por segundo da infer\u00eancia padr\u00e3o para opera\u00e7\u00e3o interativa (aproximadamente 160 quadros por segundo) em uma \u00fanica NVIDIA RTX PRO 6000.<\/p>\n<h2>O que isso significa na pr\u00e1tica<\/h2>\n<p>Um fluxo m\u00ednimo para quem quer experimentar segue mais ou menos esta forma. Dado um primeiro frame condicional de um procedimento cir\u00fargico e um stream ao vivo de vetores de a\u00e7\u00e3o de instrumentos, o modelo avan\u00e7a em blocos de quadros gerados e faz streaming da sa\u00edda para um navegador ou headset VR em tempo real via WebRTC.<\/p>\n<p>Em pr\u00e1tica, voc\u00ea sobe o servidor, abre um cliente de teclado ou um Meta Quest, e cada tecla ou movimento do controle vira um vetor de 28 dimens\u00f5es que entra no modelo. O comando do GitHub \u00e9 essencialmente:<\/p>\n<pre><code>uv run --package flash-cosmosHDreams python -m cosmosHDreams.webrtc.server \\\n --config cosmosHDreams\/configs\/keyboard_tabletop.yaml<\/code><\/pre>\n<p>Depois \u00e9 s\u00f3 abrir http:\/\/0.0.0.0:8080\/keyboard em qualquer navegador para come\u00e7ar a controlar o rob\u00f4 cir\u00fargico.<\/p>\n<p>Para adaptar a outro dataset, a arquitetura exige v\u00eddeo sincronizado com cinem\u00e1tica e um espa\u00e7o de a\u00e7\u00e3o compat\u00edvel. Nos livros que escrevi, entre eles a s\u00e9rie IA na Pr\u00e1tica, uma coisa que fica clara ao destrinchar modelos como esse \u00e9 que a cola entre dados e controle (as conven\u00e7\u00f5es de normaliza\u00e7\u00e3o, a frequ\u00eancia de amostragem, o alinhamento temporal) consome muito mais tempo que treinar o modelo em si. Aqui n\u00e3o \u00e9 diferente: trocar embodiment significa refazer todo esse alinhamento.<\/p>\n<h2>Onde o modelo quebra<\/h2>\n<p>A primeira limita\u00e7\u00e3o \u00e9 escopo. O modelo foi treinado em colecistectomia (remo\u00e7\u00e3o da ves\u00edcula) com dois instrumentos espec\u00edficos. A sele\u00e7\u00e3o de amostras foca em dois instrumentos vis\u00edveis e engajados, um Cadiere grasper esquerdo e um hook monopolar direito, e limita comandos de c\u00e2mera para enfatizar intera\u00e7\u00e3o dirigida por instrumentos. Fora disso, n\u00e3o h\u00e1 garantia.<\/p>\n<p>A segunda, e essa \u00e9 fundamental: realismo visual n\u00e3o \u00e9 corre\u00e7\u00e3o f\u00edsica. Realismo visual \u00e9 portanto um ponto de partida para valida\u00e7\u00e3o, n\u00e3o prova de acur\u00e1cia biomec\u00e2nica. O tecido pode se deformar de um jeito que parece convincente e que seria mecanicamente imposs\u00edvel. Isso tem implica\u00e7\u00e3o direta: usar isso para treinar pol\u00edtica aut\u00f4noma que vai operar em paciente \u00e9 prematuro, e os pr\u00f3prios autores dizem isso. A empresa enfatiza que o Cosmos3-H-Dreams \u00e9 uma ferramenta de pesquisa, n\u00e3o um sistema cl\u00ednico validado para cuidado de paciente.<\/p>\n<p>A terceira \u00e9 hardware. Uma \u00fanica NVIDIA RTX PRO 6000 \u00e9 suficiente para rodar interativamente. O modelo \u00e9 acelerado com FlashDreams, biblioteca de streaming inference, e usa checkpoints destilados de quatro ou dois passos de denoising que trocam qualidade visual por menor custo de infer\u00eancia durante controle ao vivo. RTX PRO 6000 n\u00e3o \u00e9 hardware de laborat\u00f3rio comum. Para quem quer rodar isso em casa com um RTX de consumo, n\u00e3o vai dar na mesma frequ\u00eancia, se \u00e9 que roda.<\/p>\n<p>A quarta \u00e9 interface. Publicando design system e style guide de interface, uma coisa que percebo nesses lan\u00e7amentos \u00e9 que o controle do simulador quase sempre fica como &#8220;abra o navegador e aperte teclas&#8221;. Para ser realmente utiliz\u00e1vel por um cirurgi\u00e3o em estudo cl\u00ednico, essa intera\u00e7\u00e3o precisa de muito trabalho que n\u00e3o \u00e9 mencionado no release.<\/p>\n<h2>O que ainda n\u00e3o d\u00e1 para afirmar<\/h2>\n<p>Alguns pontos ficam em aberto no material publicado. N\u00e3o h\u00e1 benchmark comparativo divulgado contra simuladores num\u00e9ricos tradicionais em m\u00e9tricas de deforma\u00e7\u00e3o de tecido, s\u00f3 compara\u00e7\u00e3o qualitativa. N\u00e3o h\u00e1 m\u00e9trica quantitativa de quanto o FadeMem comprime o cache versus perda de coer\u00eancia em rollouts de v\u00e1rios minutos. E n\u00e3o h\u00e1 dados p\u00fablicos sobre quantos casos cl\u00ednicos entraram no treino, nem a distribui\u00e7\u00e3o de fases do procedimento (dissec\u00e7\u00e3o, clipagem, corte), o que importa para saber onde o modelo tende a falhar.<\/p>\n<p>O artigo da NVIDIA tamb\u00e9m lista como dire\u00e7\u00e3o futura &#8220;avaliar com cirurgi\u00f5es&#8221; e &#8220;desenvolver pol\u00edticas cir\u00fargicas aut\u00f4nomas&#8221;, o que confirma que ambas ainda n\u00e3o aconteceram de forma sistem\u00e1tica.<\/p>\n<h2>Como testar isso voc\u00ea mesmo<\/h2>\n<p>Um caminho curto, se voc\u00ea tem acesso a GPU adequada:<\/p>\n<ul>\n<li>Baixe o checkpoint em huggingface.co\/nvidia\/Cosmos3-H-Dreams.<\/li>\n<li>Clone o reposit\u00f3rio Cosmos-H-Dreams no GitHub (do grupo isaac-for-healthcare).<\/li>\n<li>Rode o servidor WebRTC com o config de teclado e conecte pelo navegador. Teste o checkpoint de quatro passos primeiro, depois o de dois passos, comparando qualidade visual e lat\u00eancia percebida.<\/li>\n<li>Fa\u00e7a um rollout longo (v\u00e1rios minutos de intera\u00e7\u00e3o cont\u00ednua) e observe a coer\u00eancia: a geometria do instrumento se mant\u00e9m? A anatomia deriva? \u00c9 a\u00ed que o Self-Forcing e o FadeMem mostram se funcionam no seu caso.<\/li>\n<li>Se quiser adaptar a outro dom\u00ednio, siga o guia de teacher fine-tuning e Self-Forcing distillation linkado no post original, lembrando que voc\u00ea precisa de v\u00eddeo sincronizado com um stream de a\u00e7\u00f5es no mesmo esquema de normaliza\u00e7\u00e3o.<\/li>\n<\/ul>\n<p>O interessante do Cosmos3-H-Dreams n\u00e3o \u00e9 a cirurgia em si, \u00e9 a receita: professor bidirecional, aluno causal, destila\u00e7\u00e3o para poucos passos, Self-Forcing para corrigir deriva, FadeMem para segurar o cache. Essa combina\u00e7\u00e3o \u00e9 generaliz\u00e1vel para qualquer dom\u00ednio onde voc\u00ea tem v\u00eddeo sincronizado com controle. Vale olhar como arquitetura de refer\u00eancia, n\u00e3o s\u00f3 como demo m\u00e9dica.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Como o Cosmos3-H-Dreams da NVIDIA gera v\u00eddeo de cirurgia em tempo real respondendo a comandos de instrumentos, com destila\u00e7\u00e3o professor-aluno e FlashDreams.<\/p>\n","protected":false},"author":2,"featured_media":790,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-791","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/791","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/comments?post=791"}],"version-history":[{"count":0,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/791\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media\/790"}],"wp:attachment":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media?parent=791"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/categories?post=791"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/tags?post=791"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}