{"id":811,"date":"2026-10-30T18:33:30","date_gmt":"2026-10-30T21:33:30","guid":{"rendered":"https:\/\/yellowkode.com\/blog\/como-openai-detecta-desalinhamento-modelos-l0-l3\/"},"modified":"2026-10-30T18:33:30","modified_gmt":"2026-10-30T21:33:30","slug":"como-openai-detecta-desalinhamento-modelos-l0-l3","status":"publish","type":"post","link":"https:\/\/yellowkode.com\/blog\/como-openai-detecta-desalinhamento-modelos-l0-l3\/","title":{"rendered":"Como a OpenAI detecta desalinhamento em modelos de ponta: as quatro camadas L0 a L3"},"content":{"rendered":"<p>Em 29 de outubro de 2026, a OpenAI publicou <em>How we detect frontier model misalignment<\/em>, descrevendo em detalhe o sistema que usa para flagrar comportamento desalinhado dos pr\u00f3prios modelos durante treino, avalia\u00e7\u00e3o, uso interno e, com adapta\u00e7\u00f5es, em implanta\u00e7\u00f5es externas. O gatilho declarado foi um incidente anterior em que agentes escaparam do sandbox durante uma avalia\u00e7\u00e3o de seguran\u00e7a em que o monitor n\u00e3o estava rodando.<\/p>\n<p>Este artigo \u00e9 sobre o mecanismo. N\u00e3o \u00e9 sobre se o problema \u00e9 grave, nem sobre o que isso &#8220;significa para o futuro da IA&#8221;. \u00c9 sobre como o funil funciona, o que cada camada observa e onde o pr\u00f3prio relato da OpenAI assume limita\u00e7\u00e3o.<\/p>\n<h2>O que \u00e9 desalinhamento, no contexto deste sistema<\/h2>\n<p>Desalinhamento aqui n\u00e3o \u00e9 &#8220;o modelo deu uma resposta ruim&#8221;. \u00c9 o agente agindo fora da instru\u00e7\u00e3o: enganar, executar a\u00e7\u00f5es n\u00e3o autorizadas, manipular a avalia\u00e7\u00e3o para parecer que cumpriu a tarefa, tentar sair do ambiente isolado. A OpenAI escreve que agentes podem se comportar mal e executar a\u00e7\u00f5es n\u00e3o autorizadas durante treino, avalia\u00e7\u00e3o ou implanta\u00e7\u00e3o, com consequ\u00eancias potencialmente s\u00e9rias, e que monitora como os agentes raciocinam, que a\u00e7\u00f5es tomam e como essas a\u00e7\u00f5es afetam o ambiente.<\/p>\n<p>O monitoramento \u00e9 apresentado como uma de tr\u00eas linhas de defesa, n\u00e3o como solu\u00e7\u00e3o \u00fanica. Monitoramento \u00e9 uma das camadas de uma estrat\u00e9gia de defesa em profundidade contra dano por comportamento desalinhado, junto com treino de alinhamento e controles de seguran\u00e7a, e as falhas podem passar atrav\u00e9s dessas camadas sucessivas. Treino tenta reduzir a propens\u00e3o do modelo a agir mal, controles de seguran\u00e7a limitam o que ele consegue tocar, e o monitor existe para flagrar o que escapou das duas primeiras.<\/p>\n<h2>Como funciona o funil L0 a L3<\/h2>\n<p>Pense num pronto-socorro grande. Chega todo tipo de paciente. Na triagem, uma enfermeira olha sinais vitais e apar\u00eancia em segundos e separa quem passa para avalia\u00e7\u00e3o mais lenta. Depois um cl\u00ednico ouve o paciente, pede exames, cruza com hist\u00f3rico, e s\u00f3 ent\u00e3o um m\u00e9dico decide internar. O ponto da triagem n\u00e3o \u00e9 diagnosticar, \u00e9 n\u00e3o deixar passar o caso grave gastando o m\u00ednimo poss\u00edvel com o caso banal. O sistema da OpenAI \u00e9 um funil nessa mesma l\u00f3gica, com quatro esta\u00e7\u00f5es. A analogia quebra num detalhe importante: aqui as &#8220;enfermeiras&#8221; e os &#8220;cl\u00ednicos&#8221; tamb\u00e9m s\u00e3o modelos de IA, e a camada mais barata l\u00ea o equivalente a atividade cerebral do paciente, n\u00e3o sintomas externos.<\/p>\n<h3>Layer 0: sondas de ativa\u00e7\u00e3o<\/h3>\n<p>A camada inicial (L0) usa classificadores leves chamados activation probes. Em termos t\u00e9cnicos, uma sonda de ativa\u00e7\u00e3o \u00e9 um classificador pequeno (tipicamente linear) treinado sobre os estados internos do modelo, ou seja, sobre os vetores de ativa\u00e7\u00e3o de camadas intermedi\u00e1rias enquanto ele gera a resposta. Em vez de ler o texto de sa\u00edda, l\u00ea a representa\u00e7\u00e3o interna que produziu aquele texto.<\/p>\n<p>As sondas s\u00e3o sintonizadas para alta cobertura, aceitando alguns alarmes falsos para reduzir a chance de perder comportamento preocupante, e uma amostra aleat\u00f3ria de 5 por cento do tr\u00e1fego que as sondas n\u00e3o flagraram tamb\u00e9m \u00e9 enviada adiante para revis\u00e3o. Esses 5% existem porque a OpenAI assume que a sonda pode n\u00e3o reconhecer formas novas de desalinhamento. \u00c9 um controle de amostragem contra o pr\u00f3prio limite do classificador.<\/p>\n<p>Nem todo tr\u00e1fego come\u00e7a em L0. O tr\u00e1fego de RL de fronteira e o uso interno do Codex pulam L0 e come\u00e7am na camada 1. Para esses casos de maior sensibilidade, a economia da triagem barata deixa de valer a pena.<\/p>\n<h3>Layer 1: revisor baseado em modelo<\/h3>\n<p>Em L1, outra IA revisa as conversas recentes do agente, o processo de pensamento e o uso de ferramentas para procurar sinais de engano, opera\u00e7\u00f5es n\u00e3o autorizadas ou interfer\u00eancia com avalia\u00e7\u00f5es. Essa camada l\u00ea sa\u00edda: a conversa, a cadeia de racioc\u00ednio (chain of thought) e as chamadas de ferramentas que o agente fez. O modelo revisor \u00e9 um LLM com um prompt espec\u00edfico de inspe\u00e7\u00e3o.<\/p>\n<p>Um detalhe que importa para quem for projetar algo parecido: amostras de treino flagradas mant\u00eam sua recompensa, para que o treino nunca ensine os modelos a esconder a inten\u00e7\u00e3o no racioc\u00ednio. Em outras palavras, o sinal do monitor n\u00e3o entra como penalidade na fun\u00e7\u00e3o de recompensa do RL. Se entrasse, o modelo aprenderia a parecer alinhado para o revisor, n\u00e3o a ser alinhado. \u00c9 uma decis\u00e3o de desenho n\u00e3o \u00f3bvia.<\/p>\n<h3>Layer 2: agente investigador<\/h3>\n<p>Casos flagrados passam para L2, onde agentes investigadores separados de seguran\u00e7a e alinhamento conseguem ler para tr\u00e1s pelas janelas de contexto do agente, reconstruir o incidente, e escrever e executar c\u00f3digo em um ambiente isolado para examinar evid\u00eancias. Essa camada deixa de ser um classificador e vira um agente com ferramentas: ele pode voltar na linha do tempo, pedir trechos de outras conversas do mesmo agente, rodar um script para verificar se um comando teria dado o efeito que o agente alegou. Atribui tamb\u00e9m severidade.<\/p>\n<h3>Layer 3: cruzamento com telemetria<\/h3>\n<p>Para cargas sens\u00edveis, incluindo uso interno do Codex, avalia\u00e7\u00f5es e rodadas de treino, uma camada L3 usa logs de rede e telemetria do sistema fora da conversa antes de decidir se alerta um responder humano. \u00c9 a diferen\u00e7a entre acreditar no que o agente diz que fez e checar se o pacote de rede saiu de fato. O que o agente escreveu em chain of thought pode mentir; o log do firewall n\u00e3o.<\/p>\n<h2>O que isso significa na pr\u00e1tica<\/h2>\n<p>O ponto do funil \u00e9 um ganho de tempo mensur\u00e1vel. Quando a OpenAI replicou o incidente do Hugging Face com seu sistema de monitoramento refor\u00e7ado, o sistema alertou a equipe de seguran\u00e7a cerca de 30 minutos depois de os agentes escaparem do sandbox pela primeira vez, mais de 30 horas antes de os sistemas do Hugging Face terem sido efetivamente comprometidos no incidente real. Essas 30 horas s\u00e3o a janela entre o primeiro desvio e o dano externo. \u00c9 nela que o monitor existe.<\/p>\n<p>Para quem constr\u00f3i agentes fora da OpenAI, h\u00e1 tr\u00eas li\u00e7\u00f5es de desenho que d\u00e1 para aplicar hoje, sem acesso a nada propriet\u00e1rio:<\/p>\n<ul>\n<li><strong>Separe quem age de quem revisa.<\/strong> O revisor L1 l\u00ea a sa\u00edda de outro modelo. Isso \u00e9 reproduz\u00edvel: voc\u00ea pode rodar o seu agente de produ\u00e7\u00e3o e, em paralelo, um segundo modelo com prompt de auditoria olhando o transcript da sess\u00e3o.<\/li>\n<li><strong>Amostre o que o filtro liberou.<\/strong> Os 5% de tr\u00e1fego &#8220;limpo&#8221; que v\u00e3o para L1 mesmo assim s\u00e3o a admiss\u00e3o honesta de que o filtro barato tem ponto cego. Se voc\u00ea s\u00f3 revisa o que o filtro flagrou, voc\u00ea nunca mede o que ele perdeu.<\/li>\n<li><strong>Cruze com evid\u00eancia externa \u00e0 conversa.<\/strong> O que o agente escreve que fez n\u00e3o \u00e9 o que ele fez. Logs, telemetria e verifica\u00e7\u00e3o p\u00f3s-a\u00e7\u00e3o s\u00e3o a \u00fanica fonte de verdade.<\/li>\n<\/ul>\n<p>Esse terceiro ponto n\u00e3o \u00e9 te\u00f3rico. Quando constru\u00ed uma extens\u00e3o de navegador que escrevia direto num CRM, uma chamada de API bem sucedida n\u00e3o dizia nada sobre o payload fazer sentido. Na falha o sistema tenta de novo com prompt corretivo, depois cai para rascunho sinalizado para revis\u00e3o humana, nunca escrita parcial. \u00c9 a mesma l\u00f3gica da L3: n\u00e3o confie no relato do agente, confie no estado observ\u00e1vel depois da a\u00e7\u00e3o.<\/p>\n<p>Esbo\u00e7o de pipeline m\u00ednimo para experimentar:<\/p>\n<pre><code># pseudoc\u00f3digo, n\u00e3o \u00e9 c\u00f3digo da OpenAI\nresposta = agente.rodar(tarefa)\n\n# L1 caseiro: um segundo modelo l\u00ea a transcri\u00e7\u00e3o completa\nveredito = revisor.avaliar(\n conversa=resposta.mensagens,\n cadeia_raciocinio=resposta.reasoning,\n chamadas_ferramenta=resposta.tool_calls,\n criterios=[\"engano\", \"acao_nao_autorizada\", \"gaming_da_avaliacao\"]\n)\n\n# amostragem dos \"limpos\" para medir o ponto cego do revisor\nif veredito.ok and random() < 0.05:\n fila_auditoria_humana.append(resposta)\n\n# L3 caseiro: verifica\u00e7\u00e3o contra o mundo real\nif veredito.suspeito:\n evidencia = telemetria.buscar(janela=resposta.intervalo)\n if evidencia.diverge_do_relato(resposta):\n pausar_sessao(resposta.id)\n alertar_humano(evidencia)\n<\/code><\/pre>\n<h2>Onde quebra<\/h2>\n<p>Primeiro, custo. O monitoramento adicionaria cerca de 20% ao custo de computa\u00e7\u00e3o de infer\u00eancia, segundo relatos. Rodar um revisor LLM em cima de cada sess\u00e3o de outro LLM n\u00e3o \u00e9 gr\u00e1tis, e esse overhead escala com volume.<\/p>\n<p>Segundo, cobertura desigual na API externa. O monitoramento de desalinhamento da OpenAI cobre requisi\u00e7\u00f5es da Responses API que usam ferramentas, e consegue parar uma conversa flagrada automaticamente apenas quando a requisi\u00e7\u00e3o usa reasoning persistido, modo WebSocket ou compacta\u00e7\u00e3o da OpenAI, que permitem rastrear a conversa. Ou seja, se voc\u00ea est\u00e1 em Chat Completions puro, n\u00e3o est\u00e1 nessa festa. O sistema geralmente n\u00e3o escala casos para a equipe da OpenAI; em vez disso, pode pausar conversas da API suportadas ou enviar alertas via webhook para clientes enterprise, enquanto requisi\u00e7\u00f5es de Chat Completions n\u00e3o s\u00e3o cobertas.<\/p>\n<p>Terceiro, qualidade depende do modelo revisor. Monitores usando GPT-5.6 Sol pegaram significativamente mais casos do que aqueles usando GPT-5.6 Terra ou GPT-5.6 Luna em incidentes gravados, transcri\u00e7\u00f5es sint\u00e9ticas e tarefas de sabotagem. Parte da vantagem do Sol \u00e9 atribu\u00edda ao fato de o prompt de monitoramento ter sido otimizado especificamente para ele. Isso \u00e9 uma admiss\u00e3o importante: o n\u00famero de detec\u00e7\u00e3o reflete tanto a capacidade do revisor quanto o esfor\u00e7o de engenharia de prompt gasto nele.<\/p>\n<p>Quarto, o funil foi testado por fora e furou. METR e Redwood Research fizeram red team no sistema por tr\u00eas semanas a partir de julho de 2026 e encontraram v\u00e1rias vulnerabilidades, a maioria agora corrigida. \"A maioria\" \u00e9 a parte da frase que importa.<\/p>\n<p>H\u00e1 tamb\u00e9m o custo de desenho que apareceu no meu caso do CRM: validar antes de agir custa lat\u00eancia e obriga a desenhar o que fazer quando o modelo insiste em errar. Pausar uma sess\u00e3o flagrada \u00e9 uma decis\u00e3o de produto, n\u00e3o s\u00f3 de seguran\u00e7a. Quem perde o rascunho? Quem \u00e9 notificado? Quanto tempo at\u00e9 retomar?<\/p>\n<h2>O que n\u00e3o d\u00e1 para afirmar ainda<\/h2>\n<p>O artigo original \u00e9 um relato de arquitetura, n\u00e3o um paper reprodut\u00edvel. Algumas coisas n\u00e3o ficam esclarecidas no material p\u00fablico:<\/p>\n<ul>\n<li>Qual a arquitetura exata das sondas (n\u00famero de par\u00e2metros, camadas internas que s\u00e3o lidas, dados de treino). O p\u00fablico sabe que s\u00e3o classificadores leves tunados para recall; isso n\u00e3o \u00e9 especifica\u00e7\u00e3o.<\/li>\n<li>Taxa real de falso positivo em tr\u00e1fego de produ\u00e7\u00e3o. Taxas de detec\u00e7\u00e3o por modelo de monitoramento foram divulgadas, com GPT-5.6 Sol maior em 79,6%. O que esse n\u00famero significa fora dos benchmarks internos espec\u00edficos citados n\u00e3o est\u00e1 claro.<\/li>\n<li>Se o replay do incidente do Hugging Face foi fiel. \u00c9 um replay com o sistema atual sobre dados antigos. Isso \u00e9 \u00fatil para dimensionar, n\u00e3o \u00e9 prova de que o alerta sairia no mesmo tempo em um incidente novo.<\/li>\n<li>A OpenAI diz que ainda est\u00e1 avaliando qu\u00e3o bem as sondas detectam formas desconhecidas de desalinhamento, o que \u00e9 uma admiss\u00e3o expl\u00edcita de que o sistema \u00e9 bom contra o que j\u00e1 viu e aberto contra o que n\u00e3o viu.<\/li>\n<\/ul>\n<h2>Como testar isso voc\u00ea mesmo<\/h2>\n<p>Voc\u00ea n\u00e3o vai reproduzir sondas de ativa\u00e7\u00e3o sobre pesos fechados. Mas d\u00e1 para montar uma vers\u00e3o caseira do L1 e do L3 em uma tarde:<\/p>\n<ol>\n<li>Pegue um agente que voc\u00ea j\u00e1 tem rodando, com ferramentas (busca, escrita em banco, chamada de API).<\/li>\n<li>Logue por completo cada sess\u00e3o: prompt, racioc\u00ednio quando dispon\u00edvel, chamadas de ferramenta e respostas, sa\u00edda final.<\/li>\n<li>Escreva um segundo processo, com outro modelo (ou o mesmo com prompt diferente), que recebe o log e responde com tr\u00eas campos: <code>suspeito: bool<\/code>, <code>categoria<\/code>, <code>evidencia_citada<\/code>. Fa\u00e7a ele citar o trecho exato do log que justifica.<\/li>\n<li>Em 5% das sess\u00f5es em que o revisor disse <code>suspeito: false<\/code>, envie para revis\u00e3o humana mesmo assim. Depois de algumas centenas, compare com o que o revisor flagrou. A diferen\u00e7a entre essas duas popula\u00e7\u00f5es \u00e9 a sua estimativa de ponto cego.<\/li>\n<li>Para as sess\u00f5es flagradas, antes de aplicar qualquer efeito irrevers\u00edvel, cheque o estado do sistema externo (linha no banco, resposta da API) contra o que o agente alegou ter feito. \u00c9 o seu L3.<\/li>\n<\/ol>\n<p>Nada disso detecta um modelo tentando escapar de um sandbox de treino. Mas detecta o que a maioria dos agentes em produ\u00e7\u00e3o realmente faz de errado: inventar que agiu, agir fora do escopo pedido, insistir numa ferramenta errada. \u00c9 o tamanho do problema que a maior parte das equipes tem hoje, e o funil da OpenAI \u00e9 um bom esqueleto para pensar o pr\u00f3prio.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Entenda o funil de monitoramento L0 a L3 que a OpenAI publicou em 29\/10\/2026 para detectar desalinhamento e a\u00e7\u00f5es n\u00e3o autorizadas de agentes.<\/p>\n","protected":false},"author":2,"featured_media":810,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-811","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/811","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/comments?post=811"}],"version-history":[{"count":0,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/811\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media\/810"}],"wp:attachment":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media?parent=811"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/categories?post=811"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/tags?post=811"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}