Home / Uncategorized / Policy Token no Robots.txt: Como Funciona o Novo Opt-Out de Treino de IA

Policy Token no Robots.txt: Como Funciona o Novo Opt-Out de Treino de IA

Em 30 de outubro de 2026, OpenAI, Google, Microsoft e Anthropic anunciaram que vão honrar um único sinal no robots.txt para que sites possam optar por não ter seu conteúdo usado em treino de modelos. A fonte dessa proposta é um Internet-Draft da IETF escrito por Kevin Kelley, líder de padrões na Anthropic, segundo reportagem da The Verge e confirmado no datatracker da IETF (draft-kelley-aipref-training-preference-signal-00, com validade até 3 de maio de 2027).

Antes de entrar no mecanismo, duas coisas importam para quem vai mexer no próprio site: o sinal é opt-in por padrão (sem o grupo novo, você não expressou preferência nenhuma) e ele cobre treino, não crawling. Seus textos continuam aparecendo em busca.

Como o Policy Token Funciona por Baixo

O robots.txt definido pela RFC 9309 é um arquivo de grupos. Cada grupo começa com uma ou mais linhas User-Agent: seguidas de Disallow: e Allow:. Quando um crawler chega, ele procura o grupo cujo User-Agent casa com a identificação dele e aplica aquelas regras. Se não achar casamento específico, cai no grupo coringa User-Agent: *.

A proposta de Kelley não inventa gramática nova. Ela reusa o grupo tradicional, mas na linha User-Agent: entra uma string reservada que não é nome de crawler: __usage_ai-training. Essa string é o que o draft chama de policy token, um identificador de propósito, não de bot. O prefixo __ é deliberado: a própria minuta reconhece que parsers reais fazem casamento meio frouxo e os sublinhados reduzem a chance de bater sem querer com algum nome de bot existente.

Hoje, quando o GPTBot chega no seu site, ele vai procurar um grupo com User-Agent: GPTBot. Se achar, aplica. Se não achar, cai no *. O token muda a lógica num ponto só: antes de usar aquele conteúdo para treinar um modelo, o crawler também precisa consultar o grupo __usage_ai-training e respeitar o que estiver lá, independentemente de qual seja o nome do bot que puxou a página. É um grupo que descreve o uso pretendido, não quem está pedindo.

A analogia que ajuda é a de etiqueta de lavagem numa roupa. O rótulo não fala com uma lavanderia específica, fala com qualquer uma: não lavar a quente, não passar. O policy token é isso para dados: não usar para treino generativo. A analogia quebra num ponto: etiqueta de roupa tem fiscalização de órgão do consumidor, o token não tem nenhuma. É cumprimento voluntário de quem assinou embaixo.

O Detalhe que Derruba a Maioria dos Robots.txt que Já Existem

O draft diz, com MUST NOT, que grupos coringa (User-Agent: *) não devem ser interpretados como casando com o policy token. Isso tem uma consequência prática forte: se seu site hoje tem um Disallow: / dentro do User-Agent: *, isso não conta como opt-out de treino. Você precisa escrever o grupo novo, com o token no User-Agent, explicitamente. Um arquivo sem esse grupo, segundo a própria minuta, não expressa preferência nenhuma sobre treino.

Isso é intencional. A ideia é separar duas conversas que estavam misturadas: regras de crawl (quem pode entrar, com que frequência, em que caminhos) e regras de uso (o que pode ser feito com o que foi lido). O coringa historicamente falava de crawl. O token fala de uso.

Precedência entre Token Compartilhado e Tokens Proprietários

Google já tinha Google-Extended. OpenAI tem GPTBot. A minuta trata esses como proprietary policy tokens: regras direcionadas a eles continuam valendo com o significado que já tinham. Mais que isso, a minuta permite que cada empresa documente que trata o seu token proprietário como mais específico que o __usage_ai-training. Em termos práticos, isso quer dizer que, se você tem no mesmo arquivo um Disallow: / para __usage_ai-training e um Allow: / para Google-Extended, o Google pode legitimamente ler que o específico ganha e treinar com seu conteúdo. A ordem de leitura é: regra mais específica primeiro.

O que Isso Significa na Prática

Um robots.txt mínimo que opta por sair de treino generativo em todo o site, menos no diretório /press-kit/, fica assim:

# Opt-out de treino de IA generativa
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

# Suas regras tradicionais de crawl continuam separadas
User-Agent: *
Disallow: /admin/
Disallow: /tmp/

Alguns pontos que ficam claros só quando você escreve isso:

  • O grupo do token não substitui o coringa. Ele vive do lado, com propósito diferente.
  • Não dá para dividir por fornecedor de IA aqui dentro. O token é um só, agregando preferência para todos os que o honrarem.
  • Para manter controle fino por empresa, você segue mantendo User-Agent: GPTBot, User-Agent: Google-Extended, User-Agent: ClaudeBot em grupos separados. Esses ganham do token compartilhado se a empresa documentar que trata assim.
  • A paridade entre participantes é por calendário, não instantânea. Segundo a reportagem da The Verge e as comunicações das empresas, Anthropic já começou a implementar, Microsoft tem 1 de fevereiro de 2027 como data (e vai aposentar as tags NoArchive e NoCache como sinais de IA em 1 de março de 2027), Google mira início de 2027 e OpenAI fala em meses. Meta sinalizou apoio sem se comprometer a honrar.

Nos livros que escrevi, entre eles a série IA na Prática, insisto num ponto que vale aqui: configuração declarativa só vale quando você consegue verificar que ela está surtindo efeito. Depois de publicar o grupo novo, abra o robots.txt no browser e confira que o arquivo que sai do servidor é realmente o que você editou (CDN em cache e CMS que reescreve arquivo são os suspeitos clássicos).

Onde Isso Quebra

O draft é importante justamente por listar o que não faz. Vale repetir, com os limites explícitos:

  • Não é retroativo. O que já entrou em pesos de modelos treinados não sai pelo opt-out. Isso vale para qualquer sinal de robots.txt, mas aqui dobra: o token está nascendo agora.
  • Não bloqueia crawl. O próprio texto da minuta diz que o token não é diretiva de comportamento de crawling. Os bots continuam passando. Se você quer barrar acesso, continua precisando de regras tradicionais (ou de bloqueio em CDN).
  • Não tem força legal. É uma preferência declarada. Quem respeita, respeita porque anunciou publicamente que vai respeitar. Scraper fora do pacto não é obrigado a nada.
  • Cobre só treino generativo. A definição vem do vocabulário AIPREF (draft-ietf-aipref-vocab-08), que fala em modificar parâmetros aprendidos de modelo generativo. Treino de modelo não generativo está explicitamente fora. Grounding de respostas, retrieval em tempo real para RAG, indexação para busca: nada disso é coberto por este token. Microsoft, por exemplo, trata treino e grounding como controles separados.
  • Depende de parsing correto no outro lado. O próprio Google Search Central tem recomendado tratar robots.txt como preferência de acesso, não de uso. Agente mal escrito que faz prefix match torto vai confundir o token com nome de bot. Para quem escreve agente que busca página, tem uma consequência direta: ler __usage_ai-training como se fosse user-agent de crawler é bug.

Quando construí uma extensão de navegador que escrevia direto num CRM, aprendi na prática que chamada de API bem sucedida não diz nada sobre o payload fazer sentido. A analogia aqui é direta: HTTP 200 no seu robots.txt não diz que o token foi parseado como você queria. Se você for dono do site, você pode no máximo publicar e esperar; se você for dono do crawler, você precisa testar o parser contra o arquivo real.

O que Ainda Não Dá para Afirmar

Alguns pontos que a documentação não resolve:

  • Não está claro, no draft inicial, como lidar com conteúdo multiorigem. Página que agrega feed de terceiros, embed, usuário autenticado postando: a quem pertence a preferência?
  • Não há, por desenho da workshop AICONTROLWS da IETF, mecanismo de verificação técnica. A própria chamada da workshop diz que enforcement de sinais de opt-out não está no escopo.
  • A proposta é Internet-Draft individual, não padrão IETF adotado. Pode mudar de nome, de sintaxe, pode não virar RFC. Quem adotar hoje está apostando no sinal político, não numa norma estável.
  • Não sabemos como auditorias ou reguladores vão tratar sites que publicam o token versus sites que não publicam. É natural supor que a ausência vai, com o tempo, ser lida como consentimento tácito, mas isso é especulação.

Como Testar Isso Você Mesmo

Um caminho curto para experimentar sem depender de nada mais que seu próprio domínio:

  1. Pegue seu robots.txt atual e adicione, como primeiro grupo, as três linhas: User-Agent: __usage_ai-training, Disallow: /, Allow: /caminho-que-voce-libera/.
  2. Suba o arquivo. Abra https://seudominio/robots.txt no navegador em janela anônima e confirme que o conteúdo servido é exatamente o que você editou (sem reescrita de CDN).
  3. Escreva um parser de RFC 9309 simples (há implementações de referência em Node e Python) e rode duas consultas contra o arquivo: uma com user-agent GPTBot, outra com user-agent __usage_ai-training. Veja se o parser retorna disallow ou allow para cada caminho. É assim que um crawler que honrar o sinal vai consultar.
  4. Documente para a sua própria equipe que esse grupo não substitui as regras de crawl que já existem. Em revisão de PR daqui a seis meses, alguém vai querer apagar o que não entende.

Daqui para frente, o calendário a observar é: Microsoft em 1 de fevereiro de 2027, Google em algum ponto do início de 2027, OpenAI dentro de meses. Anthropic diz que já está implementando. Vale conferir o datatracker da IETF para ver se o draft avança para versão 01, muda nome, ou é adotado pelo working group AIPREF.

Deixe um Comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *