Em 30 de outubro de 2026, OpenAI, Google, Microsoft e Anthropic anunciaram que vão honrar um único sinal no robots.txt para que sites possam optar por não ter seu conteúdo usado em treino de modelos. A fonte dessa proposta é um Internet-Draft da IETF escrito por Kevin Kelley, líder de padrões na Anthropic, segundo reportagem da The Verge e confirmado no datatracker da IETF (draft-kelley-aipref-training-preference-signal-00, com validade até 3 de maio de 2027).
Antes de entrar no mecanismo, duas coisas importam para quem vai mexer no próprio site: o sinal é opt-in por padrão (sem o grupo novo, você não expressou preferência nenhuma) e ele cobre treino, não crawling. Seus textos continuam aparecendo em busca.
Como o Policy Token Funciona por Baixo
O robots.txt definido pela RFC 9309 é um arquivo de grupos. Cada grupo começa com uma ou mais linhas User-Agent: seguidas de Disallow: e Allow:. Quando um crawler chega, ele procura o grupo cujo User-Agent casa com a identificação dele e aplica aquelas regras. Se não achar casamento específico, cai no grupo coringa User-Agent: *.
A proposta de Kelley não inventa gramática nova. Ela reusa o grupo tradicional, mas na linha User-Agent: entra uma string reservada que não é nome de crawler: __usage_ai-training. Essa string é o que o draft chama de policy token, um identificador de propósito, não de bot. O prefixo __ é deliberado: a própria minuta reconhece que parsers reais fazem casamento meio frouxo e os sublinhados reduzem a chance de bater sem querer com algum nome de bot existente.
Hoje, quando o GPTBot chega no seu site, ele vai procurar um grupo com User-Agent: GPTBot. Se achar, aplica. Se não achar, cai no *. O token muda a lógica num ponto só: antes de usar aquele conteúdo para treinar um modelo, o crawler também precisa consultar o grupo __usage_ai-training e respeitar o que estiver lá, independentemente de qual seja o nome do bot que puxou a página. É um grupo que descreve o uso pretendido, não quem está pedindo.
A analogia que ajuda é a de etiqueta de lavagem numa roupa. O rótulo não fala com uma lavanderia específica, fala com qualquer uma: não lavar a quente, não passar. O policy token é isso para dados: não usar para treino generativo. A analogia quebra num ponto: etiqueta de roupa tem fiscalização de órgão do consumidor, o token não tem nenhuma. É cumprimento voluntário de quem assinou embaixo.
O Detalhe que Derruba a Maioria dos Robots.txt que Já Existem
O draft diz, com MUST NOT, que grupos coringa (User-Agent: *) não devem ser interpretados como casando com o policy token. Isso tem uma consequência prática forte: se seu site hoje tem um Disallow: / dentro do User-Agent: *, isso não conta como opt-out de treino. Você precisa escrever o grupo novo, com o token no User-Agent, explicitamente. Um arquivo sem esse grupo, segundo a própria minuta, não expressa preferência nenhuma sobre treino.
Isso é intencional. A ideia é separar duas conversas que estavam misturadas: regras de crawl (quem pode entrar, com que frequência, em que caminhos) e regras de uso (o que pode ser feito com o que foi lido). O coringa historicamente falava de crawl. O token fala de uso.
Precedência entre Token Compartilhado e Tokens Proprietários
Google já tinha Google-Extended. OpenAI tem GPTBot. A minuta trata esses como proprietary policy tokens: regras direcionadas a eles continuam valendo com o significado que já tinham. Mais que isso, a minuta permite que cada empresa documente que trata o seu token proprietário como mais específico que o __usage_ai-training. Em termos práticos, isso quer dizer que, se você tem no mesmo arquivo um Disallow: / para __usage_ai-training e um Allow: / para Google-Extended, o Google pode legitimamente ler que o específico ganha e treinar com seu conteúdo. A ordem de leitura é: regra mais específica primeiro.
O que Isso Significa na Prática
Um robots.txt mínimo que opta por sair de treino generativo em todo o site, menos no diretório /press-kit/, fica assim:
# Opt-out de treino de IA generativa
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
# Suas regras tradicionais de crawl continuam separadas
User-Agent: *
Disallow: /admin/
Disallow: /tmp/
Alguns pontos que ficam claros só quando você escreve isso:
- O grupo do token não substitui o coringa. Ele vive do lado, com propósito diferente.
- Não dá para dividir por fornecedor de IA aqui dentro. O token é um só, agregando preferência para todos os que o honrarem.
- Para manter controle fino por empresa, você segue mantendo
User-Agent: GPTBot,User-Agent: Google-Extended,User-Agent: ClaudeBotem grupos separados. Esses ganham do token compartilhado se a empresa documentar que trata assim. - A paridade entre participantes é por calendário, não instantânea. Segundo a reportagem da The Verge e as comunicações das empresas, Anthropic já começou a implementar, Microsoft tem 1 de fevereiro de 2027 como data (e vai aposentar as tags
NoArchiveeNoCachecomo sinais de IA em 1 de março de 2027), Google mira início de 2027 e OpenAI fala em meses. Meta sinalizou apoio sem se comprometer a honrar.
Nos livros que escrevi, entre eles a série IA na Prática, insisto num ponto que vale aqui: configuração declarativa só vale quando você consegue verificar que ela está surtindo efeito. Depois de publicar o grupo novo, abra o robots.txt no browser e confira que o arquivo que sai do servidor é realmente o que você editou (CDN em cache e CMS que reescreve arquivo são os suspeitos clássicos).
Onde Isso Quebra
O draft é importante justamente por listar o que não faz. Vale repetir, com os limites explícitos:
- Não é retroativo. O que já entrou em pesos de modelos treinados não sai pelo opt-out. Isso vale para qualquer sinal de robots.txt, mas aqui dobra: o token está nascendo agora.
- Não bloqueia crawl. O próprio texto da minuta diz que o token não é diretiva de comportamento de crawling. Os bots continuam passando. Se você quer barrar acesso, continua precisando de regras tradicionais (ou de bloqueio em CDN).
- Não tem força legal. É uma preferência declarada. Quem respeita, respeita porque anunciou publicamente que vai respeitar. Scraper fora do pacto não é obrigado a nada.
- Cobre só treino generativo. A definição vem do vocabulário AIPREF (
draft-ietf-aipref-vocab-08), que fala em modificar parâmetros aprendidos de modelo generativo. Treino de modelo não generativo está explicitamente fora. Grounding de respostas, retrieval em tempo real para RAG, indexação para busca: nada disso é coberto por este token. Microsoft, por exemplo, trata treino e grounding como controles separados. - Depende de parsing correto no outro lado. O próprio Google Search Central tem recomendado tratar robots.txt como preferência de acesso, não de uso. Agente mal escrito que faz prefix match torto vai confundir o token com nome de bot. Para quem escreve agente que busca página, tem uma consequência direta: ler
__usage_ai-trainingcomo se fosse user-agent de crawler é bug.
Quando construí uma extensão de navegador que escrevia direto num CRM, aprendi na prática que chamada de API bem sucedida não diz nada sobre o payload fazer sentido. A analogia aqui é direta: HTTP 200 no seu robots.txt não diz que o token foi parseado como você queria. Se você for dono do site, você pode no máximo publicar e esperar; se você for dono do crawler, você precisa testar o parser contra o arquivo real.
O que Ainda Não Dá para Afirmar
Alguns pontos que a documentação não resolve:
- Não está claro, no draft inicial, como lidar com conteúdo multiorigem. Página que agrega feed de terceiros, embed, usuário autenticado postando: a quem pertence a preferência?
- Não há, por desenho da workshop AICONTROLWS da IETF, mecanismo de verificação técnica. A própria chamada da workshop diz que
enforcement de sinais de opt-out não está no escopo
. - A proposta é Internet-Draft individual, não padrão IETF adotado. Pode mudar de nome, de sintaxe, pode não virar RFC. Quem adotar hoje está apostando no sinal político, não numa norma estável.
- Não sabemos como auditorias ou reguladores vão tratar sites que publicam o token versus sites que não publicam. É natural supor que a ausência vai, com o tempo, ser lida como consentimento tácito, mas isso é especulação.
Como Testar Isso Você Mesmo
Um caminho curto para experimentar sem depender de nada mais que seu próprio domínio:
- Pegue seu
robots.txtatual e adicione, como primeiro grupo, as três linhas:User-Agent: __usage_ai-training,Disallow: /,Allow: /caminho-que-voce-libera/. - Suba o arquivo. Abra
https://seudominio/robots.txtno navegador em janela anônima e confirme que o conteúdo servido é exatamente o que você editou (sem reescrita de CDN). - Escreva um parser de RFC 9309 simples (há implementações de referência em Node e Python) e rode duas consultas contra o arquivo: uma com user-agent
GPTBot, outra com user-agent__usage_ai-training. Veja se o parser retorna disallow ou allow para cada caminho. É assim que um crawler que honrar o sinal vai consultar. - Documente para a sua própria equipe que esse grupo não substitui as regras de crawl que já existem. Em revisão de PR daqui a seis meses, alguém vai querer apagar o que não entende.
Daqui para frente, o calendário a observar é: Microsoft em 1 de fevereiro de 2027, Google em algum ponto do início de 2027, OpenAI dentro de meses. Anthropic diz que já está implementando. Vale conferir o datatracker da IETF para ver se o draft avança para versão 01, muda nome, ou é adotado pelo working group AIPREF.





