{"id":775,"date":"2026-10-12T18:33:32","date_gmt":"2026-10-12T21:33:32","guid":{"rendered":"https:\/\/yellowkode.com\/blog\/maia-300-chip-inferencia-microsoft\/"},"modified":"2026-10-12T18:33:32","modified_gmt":"2026-10-12T21:33:32","slug":"maia-300-chip-inferencia-microsoft","status":"publish","type":"post","link":"https:\/\/yellowkode.com\/blog\/maia-300-chip-inferencia-microsoft\/","title":{"rendered":"Maia 300: como o chip de infer\u00eancia da Microsoft foi desenhado para rodar modelos de contexto longo"},"content":{"rendered":"

No dia 12 de outubro de 2026 a Microsoft anunciou o Maia 300, terceira gera\u00e7\u00e3o do seu acelerador de IA pr\u00f3prio. O chip foi apresentado por Scott Guthrie, vice-presidente executivo do grupo de nuvem, e por Mustafa Suleyman, CEO de IA da Microsoft, e cobertos pelo The Verge<\/em>, pela Techzine<\/em> e por v\u00e1rias publica\u00e7\u00f5es t\u00e9cnicas no mesmo dia. A partir de 2027 o Maia passa a ser o chip de infer\u00eancia prim\u00e1rio dos servi\u00e7os de IA da Microsoft, com o rollout de produ\u00e7\u00e3o come\u00e7ando naquele ano.<\/p>\n

Este artigo n\u00e3o \u00e9 sobre a disputa com a Nvidia. \u00c9 sobre como a arquitetura foi montada e o que ela quebra bem (e mal) na vida real de quem serve modelo.<\/p>\n

Os n\u00fameros, antes de entrar no mecanismo<\/h2>\n

Para fixar o ponto de partida: o Maia 300 traz 288 GB de HBM4, 18 TB\/s de banda, at\u00e9 13,8 PFLOPS em FP4 e usa um design multi-die com dies separados de mem\u00f3ria e I\/O, fabricado no processo N2P da TSMC. O TDP do SoC \u00e9 de 950 W, bem acima dos 750 W do Maia 200. Um rack junta 96 aceleradores, 27,6 TB de HBM e cerca de 1,7 PB\/s de banda agregada de mem\u00f3ria, consumindo 167 kW.<\/p>\n

Comparado com a gera\u00e7\u00e3o anterior, o Maia 200 era monol\u00edtico em TSMC N3P, com 10,1 PetaOPS FP4 e 750 W; o 300 passa a multi-chiplet em N2P, chega a 13,8 PetaOPS FP4 em 950 W. O salto bruto de compute \u00e9 modesto (cerca de 37%). O salto grande est\u00e1 na mem\u00f3ria e no empacotamento. \u00c9 a\u00ed que vale olhar.<\/p>\n

Como o chip foi montado por baixo do cap\u00f4<\/h2>\n

Chiplets: a decis\u00e3o central<\/h3>\n

A diferen\u00e7a estrutural em rela\u00e7\u00e3o ao Maia 200 \u00e9 o abandono do die monol\u00edtico. O Maia 300 \u00e9 composto por m\u00faltiplos chiplets, com pe\u00e7as separadas para compute, controladores de mem\u00f3ria e I\/O, e os chiplets de compute s\u00e3o fabricados pelo processo N2P da TSMC. De acordo com a Reuters, parte do sil\u00edcio de suporte usa um processo mais barato de 3 nm.<\/p>\n

Pensa num restaurante que antes fazia tudo numa \u00fanica cozinha gigante: fritura, confeitaria, carnes, prep. D\u00e1 para fazer, mas qualquer forno quebrado para a casa inteira, e voc\u00ea paga pre\u00e7o de forno top at\u00e9 para fritar batata. Trocar isso por esta\u00e7\u00f5es separadas (uma com o equipamento caro certo para carnes, outra com fornos simples para p\u00e3o) \u00e9 o que a arquitetura de chiplets faz com sil\u00edcio. A analogia quebra num ponto importante: num restaurante o custo marginal de separar cozinhas \u00e9 baixo; no sil\u00edcio, cada interconex\u00e3o entre chiplets tem custo real de lat\u00eancia e energia. O ganho s\u00f3 aparece quando o resto do design foi pensado para esse tr\u00e1fego entre dies.<\/p>\n

O ponto pr\u00e1tico: n\u00f3 N2P s\u00f3 vale a pena onde ele muda o resultado, que \u00e9 o compute denso. Controlador de mem\u00f3ria e I\/O n\u00e3o precisam disso, e usar n\u00f3 mais antigo nessas partes aumenta o yield e derruba o custo por wafer. Nas palavras da equipe de infraestrutura do Azure, isso aumenta a \u00e1rea de sil\u00edcio dedicada ao compute e permite que cada fun\u00e7\u00e3o use a tecnologia mais adequada ao seu papel.<\/p>\n

HBM4 e o problema real da infer\u00eancia<\/h3>\n

Infer\u00eancia de LLM, principalmente a fase de decode<\/em> (a gera\u00e7\u00e3o token a token depois do prompt processado), n\u00e3o \u00e9 limitada por compute. \u00c9 limitada por mem\u00f3ria. Cada token novo exige ler o KV cache inteiro da camada, e esse KV cache cresce linear com o tamanho do contexto. Modelo com janela de 200k tokens tem KV cache gigante, e o acelerador fica esperando a mem\u00f3ria entregar bytes.<\/p>\n

\u00c9 por isso que o n\u00famero que importa aqui n\u00e3o \u00e9 o PFLOPS. \u00c9 o 18 TB\/s. Oito stacks de HBM4 entregam 18 TB\/s a 950 W de TDP, mais do que o dobro do Maia 200, com s\u00f3 200 W a mais de consumo. O Maia 200 tinha 216 GB de HBM3e a 7 TB\/s. A banda praticamente dobra. Para decode de contexto longo isso \u00e9 literalmente a diferen\u00e7a entre acelerador ocioso e acelerador ocupado.<\/p>\n

SRAM gerenciada por software e MXFP4<\/h3>\n

Dois detalhes que normalmente passam batido em release de chip, mas que mudam como o compilador trabalha:<\/p>\n

    \n
  • O sistema de mem\u00f3ria usa oito stacks HBM4 entregando 18 TB\/s em 950 W de TDP, e suporte especializado de kernel trata a SRAM no die como um scratchpad gerenciado por software, para aliviar a press\u00e3o sobre a HBM. Isso \u00e9 relevante porque desloca a decis\u00e3o de o que fica em cache para o compilador e para a biblioteca de kernels, em vez de uma pol\u00edtica fixa de hardware. Quem escreve o kernel ganha controle, e quem n\u00e3o escreve perde performance.<\/li>\n
  • Suporte a formatos de baixa precis\u00e3o, incluindo um MXFP4 melhorado, foi desenhado para reduzir a mem\u00f3ria e a banda exigidas por compute e armazenamento de KV cache, permitindo janelas de contexto maiores e maior throughput dentro do mesmo envelope de pot\u00eancia. MXFP4 \u00e9 um FP4 com fator de escala por bloco (microscaling); mant\u00e9m a din\u00e2mica necess\u00e1ria para pesos e KV cache em 4 bits sem o colapso de qualidade do FP4 puro.<\/li>\n<\/ul>\n

    A rede como extens\u00e3o do dataflow<\/h3>\n

    A arquitetura de dataflow definida por software se combina com otimiza\u00e7\u00e3o de kernel assistida por IA para manter os dados locais, reduzir movimento de dados e aumentar utiliza\u00e7\u00e3o em compute, mem\u00f3ria e rede. Em escala de rack, a banda bidirecional de scale-up chega a 3,2 TB\/s por acelerador, numa arquitetura de rede Ethernet de duas camadas. A arquitetura t\u00e9cnica descreve superpods de at\u00e9 128 racks e 12.288 aceleradores.<\/p>\n

    A escolha de Ethernet, em vez de uma interconex\u00e3o propriet\u00e1ria estilo NVLink, \u00e9 consistente: a Microsoft j\u00e1 vinha fazendo Ethernet-based em Maia 100 e 200. O trade-off \u00e9 claro: voc\u00ea perde a lat\u00eancia cir\u00fargica do NVLink, mas ganha reaproveitamento de todo o ferramental Ethernet (switches commodities, opera\u00e7\u00e3o, troubleshooting) e a liberdade de ir at\u00e9 escalas de datacenter sem mudar de tecnologia.<\/p>\n

    O que isso significa na pr\u00e1tica<\/h2>\n

    Para quem serve modelo, o Maia 300 \u00e9 desenhado para tr\u00eas cargas espec\u00edficas: racioc\u00ednio de contexto longo, conversas sens\u00edveis \u00e0 lat\u00eancia e tarefas ag\u00eanticas de m\u00faltiplos passos. Vale desdobrar o que isso quer dizer.<\/p>\n

    Numa plataforma de conte\u00fado gerado por LLM em escala de cat\u00e1logo, a conta n\u00e3o \u00e9 por chamada isolada: \u00e9 por milh\u00e3o de tokens de sa\u00edda por dia, com SLA de lat\u00eancia. Nessa r\u00e9gua, quem decide se o acelerador \u00e9 bom n\u00e3o \u00e9 o PFLOPS, \u00e9 quantos tokens por segundo ele sustenta por watt no seu mix real de tr\u00e1fego. \u00c9 por isso que a m\u00e9trica que a Microsoft escolheu divulgar \u00e9 essa: a Microsoft espera que o Maia 300 entregue 40% mais tokens por megawatt comparado a sistemas baseados em GPU l\u00edderes, e em configura\u00e7\u00e3o completa de 96 aceleradores, at\u00e9 7x o throughput de token em escala de rack do Maia 200.<\/p>\n

    Tokens por megawatt \u00e9 a m\u00e9trica honesta para infer\u00eancia em produ\u00e7\u00e3o, porque energia \u00e9 o que voc\u00ea paga de fato. Se um acelerador faz o mesmo trabalho em 60% da energia, a conta mensal cai 40%, independente de pre\u00e7o de hardware.<\/p>\n

    Um ponto importante sobre o 7x: \u00e9 claim da Microsoft, em configura\u00e7\u00e3o ideal de rack, contra gera\u00e7\u00e3o anterior pr\u00f3pria. N\u00e3o \u00e9 compara\u00e7\u00e3o direta contra Nvidia B300 ou TPU v7. \u00c9 marketing de release. O n\u00famero \u00fatil \u00e9 o 40% tokens\/MW contra GPU, e mesmo esse veio da Microsoft, sem benchmark p\u00fablico reproduz\u00edvel ainda.<\/p>\n

    Onde essa arquitetura quebra<\/h2>\n

    Primeiro: isto \u00e9 um acelerador de infer\u00eancia. O Maia 300 \u00e9 desenhado com o que a Microsoft chama de arquitetura inference-first, otimizada para cargas de contexto longo, memory-intensive e decode-heavy. Treinamento continua sendo territ\u00f3rio de GPU. Se seu caso de uso \u00e9 fine-tuning pesado ou treino do zero, isto aqui n\u00e3o \u00e9 para voc\u00ea, e provavelmente nunca ser\u00e1.<\/p>\n

    Segundo, o \u00f3bvio: voc\u00ea n\u00e3o compra Maia 300. Voc\u00ea aluga capacidade no Azure. A partir de 2027, o Maia vira o chip de infer\u00eancia prim\u00e1rio dos servi\u00e7os de IA da Microsoft. Isso significa Copilot, GitHub Copilot, Foundry e MAI rodando sobre Maia por default. Para quem est\u00e1 fora do Azure, zero impacto operacional. Para quem est\u00e1 dentro, a mudan\u00e7a de hardware deve ser transparente, mas o perfil de lat\u00eancia e custo pode mudar, para cima ou para baixo, dependendo do modelo. Vale medir quando chegar.<\/p>\n

    Terceiro, trabalhando com agente de c\u00f3digo todo dia, com arquivo de contexto em cada reposit\u00f3rio, uma coisa fica evidente: na pr\u00e1tica, o gargalo raramente \u00e9 o acelerador. \u00c9 a janela de contexto que voc\u00ea est\u00e1 dispondo para o modelo. Contexto demais degrada o racioc\u00ednio e multiplica custo ao mesmo tempo. Contexto curado ganha de janela grande. O Maia 300 torna barato oferecer contexto maior, o que \u00e9 bom, mas n\u00e3o resolve o problema de curadoria. Hardware mais r\u00e1pido n\u00e3o vai consertar prompt mal constru\u00eddo.<\/p>\n

    Quarto, 950 W por chip e 167 kW por rack. A Microsoft desenvolveu refrigera\u00e7\u00e3o l\u00edquida dedicada j\u00e1 para o Maia 100, com design que resfria CPU e acelerador em loop fechado. Isso significa que esses racks exigem infraestrutura de datacenter espec\u00edfica. N\u00e3o \u00e9 algo que entra no colo em uma sala servidor qualquer. Em escala de hiperescala isso \u00e9 dado; em qualquer outro contexto \u00e9 invi\u00e1vel.<\/p>\n

    O que ainda n\u00e3o d\u00e1 para afirmar<\/h2>\n

    Benchmarks independentes n\u00e3o existem ainda. Todos os n\u00fameros deste artigo s\u00e3o do an\u00fancio da Microsoft e dos materiais t\u00e9cnicos liberados por ela. At\u00e9 algu\u00e9m com acesso a hardware real rodar MLPerf Inference ou carga sint\u00e9tica reproduz\u00edvel, o 40% tokens\/MW \u00e9 proje\u00e7\u00e3o do fabricante, n\u00e3o medi\u00e7\u00e3o.<\/p>\n

    N\u00e3o sabemos o pre\u00e7o, nem o pre\u00e7o efetivo que vai se refletir em API do Azure OpenAI ou Foundry. Efici\u00eancia energ\u00e9tica n\u00e3o vira pre\u00e7o mais baixo automaticamente; vira margem para o provedor at\u00e9 a concorr\u00eancia for\u00e7ar.<\/p>\n

    N\u00e3o h\u00e1 detalhe p\u00fablico sobre a stack de software: como o compilador decide o que vai para SRAM, qual o n\u00edvel de suporte PyTorch nativo, se existe algo equivalente a CUDA kernels de terceiros. Para Maia 100 e 200 havia SDK, Triton e PyTorch, mas n\u00e3o ficou claro ainda o quanto o Maia 300 muda a ABI.<\/p>\n

    E a compara\u00e7\u00e3o direta com Blackwell B300, TPU v7 Ironwood e Trainium 3 na mesma carga ainda est\u00e1 em aberto. D\u00e1 para fazer conta de guardanapo com os specs, mas conta de guardanapo em acelerador costuma mentir bastante.<\/p>\n

    Como testar isso voc\u00ea mesmo<\/h2>\n

    Hardware voc\u00ea n\u00e3o vai testar t\u00e3o cedo. Mas o mecanismo voc\u00ea pode exercitar hoje, no provedor que j\u00e1 usa:<\/p>\n

      \n
    1. Pegue um modelo que voc\u00ea usa em produ\u00e7\u00e3o. Escolha um prompt representativo com contexto longo (acima de 50k tokens, de prefer\u00eancia).<\/li>\n
    2. Me\u00e7a tokens por segundo de decode<\/em> (n\u00e3o o tempo total; separe o tempo at\u00e9 o primeiro token do tempo entre tokens). Essa segunda m\u00e9trica \u00e9 o que fica limitado por banda de mem\u00f3ria.<\/li>\n
    3. Rode o mesmo prompt com e sem KV cache compartilhado (prompt caching, se o provedor exp\u00f5e). Veja quanto cai o custo e quanto cai a lat\u00eancia de primeiro token.<\/li>\n
    4. Reduza a precis\u00e3o quando o provedor oferecer (quantiza\u00e7\u00e3o FP8 ou similar). Compare qualidade da sa\u00edda numa amostra pequena. Esse \u00e9 o experimento an\u00e1logo ao que o MXFP4 do Maia 300 faz por baixo.<\/li>\n<\/ol>\n

      O que voc\u00ea vai aprender \u00e9 onde seu gargalo real est\u00e1: no modelo, no contexto, na infraestrutura ou na forma como voc\u00ea pede as coisas. Entender isso vale mais do que saber ler spec sheet de qualquer chip.<\/p>\n","protected":false},"excerpt":{"rendered":"

      Entenda a arquitetura do Maia 300: chiplets em TSMC N2P, 288 GB de HBM4, 18 TB\/s de banda e por que isso importa para infer\u00eancia de modelos grandes.<\/p>\n","protected":false},"author":2,"featured_media":774,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-775","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/775","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/comments?post=775"}],"version-history":[{"count":0,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/775\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media\/774"}],"wp:attachment":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media?parent=775"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/categories?post=775"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/tags?post=775"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}