{"id":799,"date":"2026-10-24T18:33:49","date_gmt":"2026-10-24T21:33:49","guid":{"rendered":"https:\/\/yellowkode.com\/blog\/openai-habitat-escalabilidade-chatgpt\/"},"modified":"2026-10-24T18:33:49","modified_gmt":"2026-10-24T21:33:49","slug":"openai-habitat-escalabilidade-chatgpt","status":"publish","type":"post","link":"https:\/\/yellowkode.com\/blog\/openai-habitat-escalabilidade-chatgpt\/","title":{"rendered":"Como a OpenAI escalou o Habitat para 1 bilh\u00e3o de usu\u00e1rios do ChatGPT: multi-tenancy, cache global e Cosmos DB"},"content":{"rendered":"<p>Em 23 de outubro de 2026, Jon Lee, Hrachya Hakobyan e Chaomin Yu publicaram no blog de engenharia da OpenAI a Part II de &#8220;Rapidly scaling online storage to serve over 1 billion ChatGPT users&#8221;, descrevendo como o Habitat, a plataforma de armazenamento online que fica entre todo produto da OpenAI e o banco, foi reorganizada em cima do Azure Cosmos DB. O resultado central: um modelo de multi-tenancy baseado em co-managed containers, com boa performance de leitura em escala global. A lat\u00eancia mediana de leitura global caiu de 120 ms para 10 ms.<\/p>\n<p>Este artigo \u00e9 sobre o mecanismo. O que exatamente \u00e9 um co-managed container, por que a OpenAI tentou isolar workloads antes e voltou atr\u00e1s, e como o cache Valkey com CDC mant\u00e9m dados frescos em quase 40 regi\u00f5es sem recorrer a TTL curto.<\/p>\n<h2>Como o Habitat se encaixa na pilha<\/h2>\n<p>Habitat n\u00e3o \u00e9 um banco. \u00c9 a plataforma de armazenamento online que fica entre cada produto da OpenAI e os stores subjacentes (Azure Cosmos DB, caches, blob storage), e cuida de roteamento, autoriza\u00e7\u00e3o, criptografia, caching, data residency, multi-tenancy e rate limiting. Em outras palavras, nenhum produto fala direto com o Cosmos DB. Todo mundo fala com o Habitat, e o Habitat decide o que fazer.<\/p>\n<p>Essa escolha importa porque centraliza decis\u00f5es que normalmente ficam espalhadas pelos times de produto: schema, replica\u00e7\u00e3o geogr\u00e1fica, quando usar cache, quando ir no banco. O modelo de dados \u00e9 intencionalmente restrito: representa objetos e arestas, coloca cada objeto junto com suas arestas de sa\u00edda para suportar particionamento, e exclui SQL arbitr\u00e1rio e traversals de grafo gerais. Essa restri\u00e7\u00e3o \u00e9 o que permite particionar de forma previs\u00edvel.<\/p>\n<p>O pre\u00e7o dessa restri\u00e7\u00e3o aparece em consultas que atravessam m\u00faltiplos objetos: um objeto e suas arestas correspondentes ficam colocados juntos em uma parti\u00e7\u00e3o no n\u00edvel de armazenamento, mas nenhum esfor\u00e7o \u00e9 feito para colocar objetos junto com os objetos remotos para os quais as arestas apontam, ent\u00e3o qualquer hop entre objetos pode exigir buscar em duas contas do Cosmos DB diferentes em regi\u00f5es diferentes. Em troca, cada parti\u00e7\u00e3o individual escala de forma independente.<\/p>\n<h2>Como funciona a multi-tenancy em cima do Cosmos DB<\/h2>\n<p>Aqui est\u00e1 a decis\u00e3o arquitetural mais interessante do post, e vale explicar devagar porque envolve tr\u00eas fases.<\/p>\n<h3>O que \u00e9 um container no Cosmos DB<\/h3>\n<p>Habitat come\u00e7ou usando um container Cosmos DB default em cada conta. Um container agrupa dados e tem um or\u00e7amento de processamento atribu\u00eddo. No vocabul\u00e1rio do Cosmos DB, esse or\u00e7amento se chama Request Unit por segundo (RU\/s). Quando v\u00e1rios workloads dividem o mesmo container, dividem o mesmo or\u00e7amento. Compartilhar esse or\u00e7amento entre workloads, o que se chama multi-tenancy, exp\u00f4s v\u00e1rias maneiras de usos aparentemente separados colidirem.<\/p>\n<p>Pense numa r\u00e9gua de compras no supermercado. Enquanto o carrinho da frente s\u00f3 tem tr\u00eas itens, voc\u00ea passa r\u00e1pido. No momento em que ele tem duzentos, todo mundo atr\u00e1s espera, mesmo quem s\u00f3 queria pagar um p\u00e3o. Uma feature de nicho que de repente come\u00e7a a varrer dados pode travar o login. Essa \u00e9 a dor que motivou a segunda fase. A analogia quebra num ponto: no supermercado voc\u00ea pode abrir outro caixa na hora, no banco voc\u00ea precisa reprovisionar antes.<\/p>\n<h3>Fase dois: containers separados, e o problema que veio junto<\/h3>\n<p>A resposta \u00f3bvia foi dar a cada workload o pr\u00f3prio container, com o pr\u00f3prio or\u00e7amento. Isolamento forte, blast radius pequeno. Mas apareceu um problema organizacional. Separar os containers do Azure Cosmos DB ajudou a limitar outages entre features, mas transferiu a previs\u00e3o de capacidade para os times de produto, alguns dos quais tinham que escalar durante lan\u00e7amentos.<\/p>\n<p>E um problema t\u00e9cnico menos \u00f3bvio: um workload isolado perde o colch\u00e3o de um pool de tr\u00e1fego muito maior. A OpenAI ilustra a diferen\u00e7a com um caso de uso saltando de zero para 1 milh\u00e3o de queries por segundo. Esse aumento mal mexeria na demanda total de um container compartilhado grande, enquanto representaria 1.000 vezes a carga baseline de um container dedicado usado s\u00f3 para testes internos. Em pool grande, pico individual se dilui. Em pool pequeno, pico individual quebra.<\/p>\n<h3>Fase tr\u00eas: co-managed containers<\/h3>\n<p>Esse peso organizacional empurrou o Habitat de volta para multi-tenancy por default, dessa vez com capacidade de movimenta\u00e7\u00e3o de dados. A empresa trabalhou junto com a Azure em co-managed containers, em vez de continuar fazendo containers separados como resposta default para crescimento. Com essas mudan\u00e7as, eles voltaram a usar um container compartilhado, o que simplificou significativamente a necessidade de planejamento de capacidade antecipado ou cont\u00ednuo pelos times de produto, preservando isolamento entre workloads.<\/p>\n<p>Os detalhes t\u00e9cnicos de como exatamente o Cosmos DB imp\u00f5e fairness dentro de um container compartilhado para evitar que um workload coma o or\u00e7amento do outro n\u00e3o est\u00e3o explicitados no post p\u00fablico. O que o post deixa claro \u00e9 a propriedade desejada: compartilhar o pool para absorver pico, mas isolar o suficiente para que um vizinho barulhento n\u00e3o derrube ningu\u00e9m. A &#8220;movimenta\u00e7\u00e3o de dados&#8221; entra a\u00ed: quando um workload cresce demais para o container atual, dados podem ser realocados sem o time de produto precisar replanejar.<\/p>\n<h2>Como funciona o cache global com invalida\u00e7\u00e3o por CDC<\/h2>\n<p>A segunda metade da hist\u00f3ria \u00e9 o cache. Com leituras passando de 90% das requisi\u00e7\u00f5es, um cache lookaside distribu\u00eddo evita viagens repetidas ao banco entre regi\u00f5es. Servidores Valkey rodam perto do compute da aplica\u00e7\u00e3o.<\/p>\n<p>A camada de cache lookaside distribu\u00edda foi integrada dentro do Habitat. Ela guarda uma c\u00f3pia dos objetos e arestas acessados recentemente em servidores Valkey posicionados perto de onde as requisi\u00e7\u00f5es do usu\u00e1rio s\u00e3o processadas. Lookaside significa que a aplica\u00e7\u00e3o pergunta primeiro ao cache; se n\u00e3o tem, vai no banco e popula o cache depois. \u00c9 o padr\u00e3o cl\u00e1ssico.<\/p>\n<p>O problema cl\u00e1ssico tamb\u00e9m: como saber quando o dado em cache ficou obsoleto. TTLs curtos aumentam misses, TTLs longos arriscam dados velhos. A OpenAI resolveu isso com invalida\u00e7\u00e3o orientada por evento, n\u00e3o por tempo.<\/p>\n<p>Eles adotaram uma abordagem mais avan\u00e7ada de invalida\u00e7\u00e3o, seguindo os passos de sistemas como o TAO da Meta. O cache integrado do Habitat usa change data capture (CDC) atrav\u00e9s do change feed do Azure Cosmos DB para propagar invalida\u00e7\u00f5es globalmente em segundos, atingindo altas taxas de hit e mantendo staleness baixo. Um servi\u00e7o na infraestrutura consome esse change feed e executa invalida\u00e7\u00f5es nos caches locais quando o dado subjacente \u00e9 atualizado.<\/p>\n<p>O fluxo passo a passo:<\/p>\n<ul>\n<li>Aplica\u00e7\u00e3o escreve objeto X no Cosmos DB via Habitat.<\/li>\n<li>Cosmos DB registra a mudan\u00e7a no seu change feed (um log append-only de altera\u00e7\u00f5es).<\/li>\n<li>Um servi\u00e7o consumidor l\u00ea o change feed continuamente.<\/li>\n<li>Esse servi\u00e7o publica uma invalida\u00e7\u00e3o para os caches Valkey em cada regi\u00e3o.<\/li>\n<li>Pr\u00f3xima leitura em qualquer regi\u00e3o acha miss, busca a vers\u00e3o nova e repopula o cache local.<\/li>\n<\/ul>\n<p>O ganho \u00e9 que TTL deixa de ser a estrat\u00e9gia principal de freshness. Voc\u00ea pode manter dados em cache por horas e ainda estar correto, porque a invalida\u00e7\u00e3o chega por push quando o banco muda.<\/p>\n<h2>O que isso significa na pr\u00e1tica<\/h2>\n<p>Dois recados ficam para quem constr\u00f3i sistema parecido, em qualquer escala.<\/p>\n<p>Primeiro, a decis\u00e3o entre isolar e compartilhar n\u00e3o \u00e9 t\u00e9cnica, \u00e9 organizacional. Isolar move o problema para quem toca o produto, e nem todo time de produto quer, ou sabe, planejar capacidade. Compartilhar devolve essa dor para a plataforma, que \u00e9 onde ela costuma ficar melhor cuidada. A escolha depende de quem \u00e9 melhor equipado para absorver a dor.<\/p>\n<p>Segundo, invalida\u00e7\u00e3o por CDC muda o jogo quando voc\u00ea tem leitura dominante e dados que mudam de forma esparsa mas cr\u00edtica. Habitat fornece uma interface comum de armazenamento online para ChatGPT, API, Codex e aplica\u00e7\u00f5es internas, centralizando autoriza\u00e7\u00e3o, roteamento de dados, criptografia, serializa\u00e7\u00e3o, caching e gerenciamento de conex\u00e3o. Uma \u00fanica intera\u00e7\u00e3o de usu\u00e1rio pode gerar m\u00faltiplas opera\u00e7\u00f5es de armazenamento Habitat, ent\u00e3o a taxa de requisi\u00e7\u00f5es n\u00e3o deve ser interpretada como o n\u00famero de prompts do ChatGPT por segundo. Em outras palavras, grande parte dessas requisi\u00e7\u00f5es \u00e9 leitura de perfil, configura\u00e7\u00e3o, hist\u00f3rico, coisas que mudam pouco por requisi\u00e7\u00e3o mas precisam estar frescas quando mudam.<\/p>\n<p>Trabalhando com agente de c\u00f3digo todo dia, com arquivo de contexto em cada reposit\u00f3rio, vejo um padr\u00e3o an\u00e1logo em escala muito menor: o arquivo existe para o agente herdar as decis\u00f5es do projeto em vez de redescobrir mal a cada sess\u00e3o. \u00c9 cache tamb\u00e9m. E se eu atualizo uma decis\u00e3o arquitetural, preciso invalidar o entendimento antigo do agente, n\u00e3o s\u00f3 esperar o TTL da sess\u00e3o expirar. A mec\u00e2nica \u00e9 a mesma: push de invalida\u00e7\u00e3o ganha de pull por tempo quando corre\u00e7\u00e3o importa.<\/p>\n<h2>Onde a arquitetura quebra<\/h2>\n<p>Nem tudo \u00e9 ganho. Tr\u00eas limites reais:<\/p>\n<p><strong>Grafo \u00e9 caro.<\/strong> Como j\u00e1 citado, hops entre objetos podem envolver contas Cosmos DB em regi\u00f5es diferentes. Se seu caso de uso precisa de traversal profundo, Habitat n\u00e3o \u00e9 a ferramenta certa, e por isso a OpenAI tem sistemas especializados ao lado: Valkey fornece caches regionais; CDC distribui mudan\u00e7as; Kafka carrega eventos para consumidores downstream; Rockset pode fornecer views de query separadas para workloads complexos.<\/p>\n<p><strong>CDC tem lat\u00eancia.<\/strong> &#8220;Segundos&#8221; \u00e9 bom, mas n\u00e3o \u00e9 zero. Para a maior parte dos usos \u00e9 irrelevante. Para opera\u00e7\u00f5es sens\u00edveis a consist\u00eancia forte (saldo financeiro, autoriza\u00e7\u00e3o de a\u00e7\u00e3o cr\u00edtica logo ap\u00f3s mudan\u00e7a de permiss\u00e3o), voc\u00ea precisa de leitura direta no banco, n\u00e3o no cache, ou de um sinal expl\u00edcito de invalida\u00e7\u00e3o s\u00edncrona.<\/p>\n<p><strong>Multi-tenancy compartilhada exige fairness confi\u00e1vel.<\/strong> Containers compartilhados juntam capacidade e reduzem o fardo de previs\u00e3o dos times de produto, mas exigem controles de fairness fortes. Containers dedicados reduzem o raio de falha mas podem desperdi\u00e7ar o headroom provisionado. Se seu banco n\u00e3o oferece controles de fairness bons dentro de container compartilhado, a volta para shared vira risco.<\/p>\n<p>Nos sistemas que opero, no Mentezinha, com retrieval por crian\u00e7a em produ\u00e7\u00e3o no Vertex AI, encaro a outra ponta do dilema: personaliza\u00e7\u00e3o por usu\u00e1rio via retrieval, n\u00e3o RAG gen\u00e9rico de documento. Sem isso, personaliza\u00e7\u00e3o \u00e9 s\u00f3 tom de voz. Um \u00edndice por usu\u00e1rio multiplica custo de armazenamento e de manuten\u00e7\u00e3o, e cria a pergunta de quando esquecer. \u00c9 o oposto do movimento da OpenAI aqui: eles compartilham para absorver pico; eu isolo para ter personaliza\u00e7\u00e3o real. A dire\u00e7\u00e3o certa depende do que voc\u00ea est\u00e1 otimizando.<\/p>\n<h2>O que n\u00e3o d\u00e1 para afirmar a partir deste material<\/h2>\n<p>Alguns pontos importantes ficam em aberto no que foi publicado:<\/p>\n<ul>\n<li>O mecanismo exato de fairness interno aos co-managed containers n\u00e3o \u00e9 detalhado. O post descreve o resultado (isolamento preservado com container compartilhado) mas n\u00e3o como o Cosmos DB imp\u00f5e isso tecnicamente.<\/li>\n<li>A OpenAI atribui o progresso a replica\u00e7\u00e3o geogr\u00e1fica seletiva, cache Valkey e migra\u00e7\u00e3o da camada de servi\u00e7o de Python para Rust, sem isolar a contribui\u00e7\u00e3o individual de cada mudan\u00e7a. Ou seja, o 12x \u00e9 agregado, n\u00e3o \u00e9 s\u00f3 o Cosmos DB nem s\u00f3 o cache.<\/li>\n<li>O material fornecido n\u00e3o inclui medi\u00e7\u00f5es ao vivo verificadas independentemente para a nova figura de read performance. Os n\u00fameros v\u00eam da pr\u00f3pria OpenAI.<\/li>\n<li>O n\u00famero de 12x se refere \u00e0 lat\u00eancia p50 de leitura de armazenamento, n\u00e3o ao tempo de resposta end-to-end do ChatGPT. Importante n\u00e3o confundir: a janela de resposta que o usu\u00e1rio sente envolve infer\u00eancia do modelo, que \u00e9 a parte dominante.<\/li>\n<\/ul>\n<h2>Como testar isso voc\u00ea mesmo<\/h2>\n<p>Voc\u00ea n\u00e3o vai reproduzir Habitat em casa, e nem precisa. Mas d\u00e1 para construir uma vers\u00e3o did\u00e1tica do padr\u00e3o de cache lookaside com invalida\u00e7\u00e3o por CDC usando ferramentas gratuitas:<\/p>\n<ul>\n<li>Suba um Postgres local com <code>wal_level=logical<\/code> ativado.<\/li>\n<li>Suba um Redis ou Valkey local como cache.<\/li>\n<li>Escreva uma aplica\u00e7\u00e3o simples que l\u00ea do cache primeiro e, em miss, l\u00ea do Postgres e popula.<\/li>\n<li>Rode um consumidor de replica\u00e7\u00e3o l\u00f3gica (por exemplo, usando <code>wal2json<\/code> ou Debezium) que escuta mudan\u00e7as em uma tabela e, para cada UPDATE\/DELETE, deleta a chave correspondente no cache.<\/li>\n<li>Fa\u00e7a uma escrita direto no Postgres por fora da aplica\u00e7\u00e3o, e me\u00e7a quanto tempo leva at\u00e9 a pr\u00f3xima leitura no cache refletir o novo valor.<\/li>\n<\/ul>\n<p>Esse laborat\u00f3rio vale mais que ler sobre TAO ou Habitat. Voc\u00ea vai sentir onde o CDC atrasa, o que acontece quando o consumidor cai, e por que invalidar em vez de atualizar a chave \u00e9 mais seguro quando a aplica\u00e7\u00e3o escreve em v\u00e1rios lugares. A arquitetura da OpenAI \u00e9 a mesma ideia, s\u00f3 com muitos zeros a mais na vaz\u00e3o e um fornecedor cuidando do change feed por voc\u00ea.<\/p>\n<p>Para quem quer ler o original, a Part II est\u00e1 publicada no blog da OpenAI em outubro de 2026, assinada por Jon Lee, Hrachya Hakobyan e Chaomin Yu.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Entenda a arquitetura do Habitat da OpenAI: por que voltaram a usar containers compartilhados no Cosmos DB, como funciona o cache Valkey com CDC e o que isso ensina.<\/p>\n","protected":false},"author":2,"featured_media":798,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-799","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/799","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/comments?post=799"}],"version-history":[{"count":0,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/799\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media\/798"}],"wp:attachment":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media?parent=799"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/categories?post=799"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/tags?post=799"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}