{"id":815,"date":"2026-11-01T18:33:58","date_gmt":"2026-11-01T21:33:58","guid":{"rendered":"https:\/\/yellowkode.com\/blog\/policy-token-robots-txt-opt-out-treino-ia\/"},"modified":"2026-11-01T18:33:58","modified_gmt":"2026-11-01T21:33:58","slug":"policy-token-robots-txt-opt-out-treino-ia","status":"publish","type":"post","link":"https:\/\/yellowkode.com\/blog\/policy-token-robots-txt-opt-out-treino-ia\/","title":{"rendered":"Policy Token no Robots.txt: Como Funciona o Novo Opt-Out de Treino de IA"},"content":{"rendered":"<p>Em 30 de outubro de 2026, OpenAI, Google, Microsoft e Anthropic anunciaram que v\u00e3o honrar um \u00fanico sinal no <code>robots.txt<\/code> para que sites possam optar por n\u00e3o ter seu conte\u00fado usado em treino de modelos. A fonte dessa proposta \u00e9 um Internet-Draft da IETF escrito por Kevin Kelley, l\u00edder de padr\u00f5es na Anthropic, segundo reportagem da The Verge e confirmado no datatracker da IETF (<code>draft-kelley-aipref-training-preference-signal-00<\/code>, com validade at\u00e9 3 de maio de 2027).<\/p>\n<p>Antes de entrar no mecanismo, duas coisas importam para quem vai mexer no pr\u00f3prio site: o sinal \u00e9 <strong>opt-in por padr\u00e3o<\/strong> (sem o grupo novo, voc\u00ea n\u00e3o expressou prefer\u00eancia nenhuma) e ele cobre <strong>treino, n\u00e3o crawling<\/strong>. Seus textos continuam aparecendo em busca.<\/p>\n<h2>Como o Policy Token Funciona por Baixo<\/h2>\n<p>O <code>robots.txt<\/code> definido pela RFC 9309 \u00e9 um arquivo de grupos. Cada grupo come\u00e7a com uma ou mais linhas <code>User-Agent:<\/code> seguidas de <code>Disallow:<\/code> e <code>Allow:<\/code>. Quando um crawler chega, ele procura o grupo cujo User-Agent casa com a identifica\u00e7\u00e3o dele e aplica aquelas regras. Se n\u00e3o achar casamento espec\u00edfico, cai no grupo coringa <code>User-Agent: *<\/code>.<\/p>\n<p>A proposta de Kelley n\u00e3o inventa gram\u00e1tica nova. Ela reusa o grupo tradicional, mas na linha <code>User-Agent:<\/code> entra uma string reservada que n\u00e3o \u00e9 nome de crawler: <code>__usage_ai-training<\/code>. Essa string \u00e9 o que o draft chama de <em>policy token<\/em>, um identificador de prop\u00f3sito, n\u00e3o de bot. O prefixo <code>__<\/code> \u00e9 deliberado: a pr\u00f3pria minuta reconhece que parsers reais fazem casamento meio frouxo e os sublinhados reduzem a chance de bater sem querer com algum nome de bot existente.<\/p>\n<p>Hoje, quando o GPTBot chega no seu site, ele vai procurar um grupo com <code>User-Agent: GPTBot<\/code>. Se achar, aplica. Se n\u00e3o achar, cai no <code>*<\/code>. O token muda a l\u00f3gica num ponto s\u00f3: antes de usar aquele conte\u00fado para treinar um modelo, o crawler tamb\u00e9m precisa consultar o grupo <code>__usage_ai-training<\/code> e respeitar o que estiver l\u00e1, independentemente de qual seja o nome do bot que puxou a p\u00e1gina. \u00c9 um grupo que descreve o <em>uso pretendido<\/em>, n\u00e3o quem est\u00e1 pedindo.<\/p>\n<p>A analogia que ajuda \u00e9 a de etiqueta de lavagem numa roupa. O r\u00f3tulo n\u00e3o fala com uma lavanderia espec\u00edfica, fala com qualquer uma: n\u00e3o lavar a quente, n\u00e3o passar. O policy token \u00e9 isso para dados: n\u00e3o usar para treino generativo. A analogia quebra num ponto: etiqueta de roupa tem fiscaliza\u00e7\u00e3o de \u00f3rg\u00e3o do consumidor, o token n\u00e3o tem nenhuma. \u00c9 cumprimento volunt\u00e1rio de quem assinou embaixo.<\/p>\n<h3>O Detalhe que Derruba a Maioria dos Robots.txt que J\u00e1 Existem<\/h3>\n<p>O draft diz, com MUST NOT, que grupos coringa (<code>User-Agent: *<\/code>) n\u00e3o devem ser interpretados como casando com o policy token. Isso tem uma consequ\u00eancia pr\u00e1tica forte: se seu site hoje tem um <code>Disallow: \/<\/code> dentro do <code>User-Agent: *<\/code>, isso n\u00e3o conta como opt-out de treino. Voc\u00ea precisa escrever o grupo novo, com o token no User-Agent, explicitamente. Um arquivo sem esse grupo, segundo a pr\u00f3pria minuta, n\u00e3o expressa prefer\u00eancia nenhuma sobre treino.<\/p>\n<p>Isso \u00e9 intencional. A ideia \u00e9 separar duas conversas que estavam misturadas: regras de crawl (quem pode entrar, com que frequ\u00eancia, em que caminhos) e regras de uso (o que pode ser feito com o que foi lido). O coringa historicamente falava de crawl. O token fala de uso.<\/p>\n<h3>Preced\u00eancia entre Token Compartilhado e Tokens Propriet\u00e1rios<\/h3>\n<p>Google j\u00e1 tinha <code>Google-Extended<\/code>. OpenAI tem <code>GPTBot<\/code>. A minuta trata esses como <em>proprietary policy tokens<\/em>: regras direcionadas a eles continuam valendo com o significado que j\u00e1 tinham. Mais que isso, a minuta permite que cada empresa documente que trata o seu token propriet\u00e1rio como <strong>mais espec\u00edfico<\/strong> que o <code>__usage_ai-training<\/code>. Em termos pr\u00e1ticos, isso quer dizer que, se voc\u00ea tem no mesmo arquivo um <code>Disallow: \/<\/code> para <code>__usage_ai-training<\/code> e um <code>Allow: \/<\/code> para <code>Google-Extended<\/code>, o Google pode legitimamente ler que o espec\u00edfico ganha e treinar com seu conte\u00fado. A ordem de leitura \u00e9: regra mais espec\u00edfica primeiro.<\/p>\n<h2>O que Isso Significa na Pr\u00e1tica<\/h2>\n<p>Um <code>robots.txt<\/code> m\u00ednimo que opta por sair de treino generativo em todo o site, menos no diret\u00f3rio <code>\/press-kit\/<\/code>, fica assim:<\/p>\n<pre><code># Opt-out de treino de IA generativa\nUser-Agent: __usage_ai-training\nDisallow: \/\nAllow: \/press-kit\/\n\n# Suas regras tradicionais de crawl continuam separadas\nUser-Agent: *\nDisallow: \/admin\/\nDisallow: \/tmp\/\n<\/code><\/pre>\n<p>Alguns pontos que ficam claros s\u00f3 quando voc\u00ea escreve isso:<\/p>\n<ul>\n<li>O grupo do token n\u00e3o substitui o coringa. Ele vive do lado, com prop\u00f3sito diferente.<\/li>\n<li>N\u00e3o d\u00e1 para dividir por fornecedor de IA aqui dentro. O token \u00e9 um s\u00f3, agregando prefer\u00eancia para todos os que o honrarem.<\/li>\n<li>Para manter controle fino por empresa, voc\u00ea segue mantendo <code>User-Agent: GPTBot<\/code>, <code>User-Agent: Google-Extended<\/code>, <code>User-Agent: ClaudeBot<\/code> em grupos separados. Esses ganham do token compartilhado se a empresa documentar que trata assim.<\/li>\n<li>A paridade entre participantes \u00e9 por calend\u00e1rio, n\u00e3o instant\u00e2nea. Segundo a reportagem da The Verge e as comunica\u00e7\u00f5es das empresas, Anthropic j\u00e1 come\u00e7ou a implementar, Microsoft tem 1 de fevereiro de 2027 como data (e vai aposentar as tags <code>NoArchive<\/code> e <code>NoCache<\/code> como sinais de IA em 1 de mar\u00e7o de 2027), Google mira in\u00edcio de 2027 e OpenAI fala em meses. Meta sinalizou apoio sem se comprometer a honrar.<\/li>\n<\/ul>\n<p>Nos livros que escrevi, entre eles a s\u00e9rie IA na Pr\u00e1tica, insisto num ponto que vale aqui: configura\u00e7\u00e3o declarativa s\u00f3 vale quando voc\u00ea consegue verificar que ela est\u00e1 surtindo efeito. Depois de publicar o grupo novo, abra o <code>robots.txt<\/code> no browser e confira que o arquivo que sai do servidor \u00e9 realmente o que voc\u00ea editou (CDN em cache e CMS que reescreve arquivo s\u00e3o os suspeitos cl\u00e1ssicos).<\/p>\n<h2>Onde Isso Quebra<\/h2>\n<p>O draft \u00e9 importante justamente por listar o que n\u00e3o faz. Vale repetir, com os limites expl\u00edcitos:<\/p>\n<ul>\n<li><strong>N\u00e3o \u00e9 retroativo.<\/strong> O que j\u00e1 entrou em pesos de modelos treinados n\u00e3o sai pelo opt-out. Isso vale para qualquer sinal de robots.txt, mas aqui dobra: o token est\u00e1 nascendo agora.<\/li>\n<li><strong>N\u00e3o bloqueia crawl.<\/strong> O pr\u00f3prio texto da minuta diz que o token n\u00e3o \u00e9 diretiva de comportamento de crawling. Os bots continuam passando. Se voc\u00ea quer barrar acesso, continua precisando de regras tradicionais (ou de bloqueio em CDN).<\/li>\n<li><strong>N\u00e3o tem for\u00e7a legal.<\/strong> \u00c9 uma prefer\u00eancia declarada. Quem respeita, respeita porque anunciou publicamente que vai respeitar. Scraper fora do pacto n\u00e3o \u00e9 obrigado a nada.<\/li>\n<li><strong>Cobre s\u00f3 treino generativo.<\/strong> A defini\u00e7\u00e3o vem do vocabul\u00e1rio AIPREF (<code>draft-ietf-aipref-vocab-08<\/code>), que fala em modificar par\u00e2metros aprendidos de modelo generativo. Treino de modelo n\u00e3o generativo est\u00e1 explicitamente fora. Grounding de respostas, retrieval em tempo real para RAG, indexa\u00e7\u00e3o para busca: nada disso \u00e9 coberto por este token. Microsoft, por exemplo, trata treino e grounding como controles separados.<\/li>\n<li><strong>Depende de parsing correto no outro lado.<\/strong> O pr\u00f3prio Google Search Central tem recomendado tratar robots.txt como prefer\u00eancia de acesso, n\u00e3o de uso. Agente mal escrito que faz prefix match torto vai confundir o token com nome de bot. Para quem escreve agente que busca p\u00e1gina, tem uma consequ\u00eancia direta: ler <code>__usage_ai-training<\/code> como se fosse user-agent de crawler \u00e9 bug.<\/li>\n<\/ul>\n<p>Quando constru\u00ed uma extens\u00e3o de navegador que escrevia direto num CRM, aprendi na pr\u00e1tica que chamada de API bem sucedida n\u00e3o diz nada sobre o payload fazer sentido. A analogia aqui \u00e9 direta: HTTP 200 no seu <code>robots.txt<\/code> n\u00e3o diz que o token foi parseado como voc\u00ea queria. Se voc\u00ea for dono do site, voc\u00ea pode no m\u00e1ximo publicar e esperar; se voc\u00ea for dono do crawler, voc\u00ea precisa testar o parser contra o arquivo real.<\/p>\n<h2>O que Ainda N\u00e3o D\u00e1 para Afirmar<\/h2>\n<p>Alguns pontos que a documenta\u00e7\u00e3o n\u00e3o resolve:<\/p>\n<ul>\n<li>N\u00e3o est\u00e1 claro, no draft inicial, como lidar com conte\u00fado multiorigem. P\u00e1gina que agrega feed de terceiros, embed, usu\u00e1rio autenticado postando: a quem pertence a prefer\u00eancia?<\/li>\n<li>N\u00e3o h\u00e1, por desenho da workshop AICONTROLWS da IETF, mecanismo de verifica\u00e7\u00e3o t\u00e9cnica. A pr\u00f3pria chamada da workshop diz que <q>enforcement de sinais de opt-out n\u00e3o est\u00e1 no escopo<\/q>.<\/li>\n<li>A proposta \u00e9 Internet-Draft individual, n\u00e3o padr\u00e3o IETF adotado. Pode mudar de nome, de sintaxe, pode n\u00e3o virar RFC. Quem adotar hoje est\u00e1 apostando no sinal pol\u00edtico, n\u00e3o numa norma est\u00e1vel.<\/li>\n<li>N\u00e3o sabemos como auditorias ou reguladores v\u00e3o tratar sites que publicam o token versus sites que n\u00e3o publicam. \u00c9 natural supor que a aus\u00eancia vai, com o tempo, ser lida como consentimento t\u00e1cito, mas isso \u00e9 especula\u00e7\u00e3o.<\/li>\n<\/ul>\n<h2>Como Testar Isso Voc\u00ea Mesmo<\/h2>\n<p>Um caminho curto para experimentar sem depender de nada mais que seu pr\u00f3prio dom\u00ednio:<\/p>\n<ol>\n<li>Pegue seu <code>robots.txt<\/code> atual e adicione, como primeiro grupo, as tr\u00eas linhas: <code>User-Agent: __usage_ai-training<\/code>, <code>Disallow: \/<\/code>, <code>Allow: \/caminho-que-voce-libera\/<\/code>.<\/li>\n<li>Suba o arquivo. Abra <code>https:\/\/seudominio\/robots.txt<\/code> no navegador em janela an\u00f4nima e confirme que o conte\u00fado servido \u00e9 exatamente o que voc\u00ea editou (sem reescrita de CDN).<\/li>\n<li>Escreva um parser de RFC 9309 simples (h\u00e1 implementa\u00e7\u00f5es de refer\u00eancia em Node e Python) e rode duas consultas contra o arquivo: uma com user-agent <code>GPTBot<\/code>, outra com user-agent <code>__usage_ai-training<\/code>. Veja se o parser retorna disallow ou allow para cada caminho. \u00c9 assim que um crawler que honrar o sinal vai consultar.<\/li>\n<li>Documente para a sua pr\u00f3pria equipe que esse grupo n\u00e3o substitui as regras de crawl que j\u00e1 existem. Em revis\u00e3o de PR daqui a seis meses, algu\u00e9m vai querer apagar o que n\u00e3o entende.<\/li>\n<\/ol>\n<p>Daqui para frente, o calend\u00e1rio a observar \u00e9: Microsoft em 1 de fevereiro de 2027, Google em algum ponto do in\u00edcio de 2027, OpenAI dentro de meses. Anthropic diz que j\u00e1 est\u00e1 implementando. Vale conferir o datatracker da IETF para ver se o draft avan\u00e7a para vers\u00e3o 01, muda nome, ou \u00e9 adotado pelo working group AIPREF.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Entenda o __usage_ai-training no robots.txt, o token proposto por Anthropic na IETF que OpenAI, Google e Microsoft disseram que v\u00e3o honrar.<\/p>\n","protected":false},"author":2,"featured_media":814,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-815","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/815","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/comments?post=815"}],"version-history":[{"count":0,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/815\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media\/814"}],"wp:attachment":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media?parent=815"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/categories?post=815"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/tags?post=815"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}