{"id":803,"date":"2026-10-26T18:34:39","date_gmt":"2026-10-26T21:34:39","guid":{"rendered":"https:\/\/yellowkode.com\/blog\/sb-1119-estudo-mit-seguranca-ia\/"},"modified":"2026-10-26T18:34:39","modified_gmt":"2026-10-26T21:34:39","slug":"sb-1119-estudo-mit-seguranca-ia","status":"publish","type":"post","link":"https:\/\/yellowkode.com\/blog\/sb-1119-estudo-mit-seguranca-ia\/","title":{"rendered":"Como a SB 1119 e o Estudo do MIT Redefinem a Seguran\u00e7a em IA"},"content":{"rendered":"<p>Em 26 de outubro de 2026, a MIT Technology Review publicou um artigo de opini\u00e3o de Sam Hiner e Emma Leiken argumentando que a regula\u00e7\u00e3o de IA tem se concentrado em desastres espetaculares e ignorado o dano cotidiano: depend\u00eancia emocional, eros\u00e3o de h\u00e1bitos de pensamento, substitui\u00e7\u00e3o de rela\u00e7\u00f5es humanas por simuladas. O texto cita duas pe\u00e7as t\u00e9cnicas concretas que vale a pena entender por baixo do cap\u00f4: a lei californiana <strong>SB 1119 (Adam&#8217;s Law)<\/strong>, sancionada em 10 de setembro de 2026, e o estudo do MIT Media Lab <em>Your Brain on ChatGPT: Accumulation of Cognitive Debt<\/em>, de Kosmyna et al. (2025). Este artigo n\u00e3o discute se a opini\u00e3o est\u00e1 certa. Discute o que essas duas pe\u00e7as efetivamente medem, exigem e deixam de fora.<\/p>\n<h2>O mecanismo: o que a SB 1119 regula e como o estudo do MIT mediu dano cognitivo<\/h2>\n<h3>Como a lei define &#8220;companion chatbot&#8221; e por que a defini\u00e7\u00e3o importa<\/h3>\n<p>A primeira coisa a entender \u00e9 que a SB 1119 n\u00e3o regula &#8220;IA&#8221; em geral. Ela regula uma categoria espec\u00edfica, definida funcionalmente. A lei n\u00e3o inventa o termo &#8220;companion chatbot&#8221;. Ela usa a defini\u00e7\u00e3o de Section 22601, promulgada no ano anterior: um sistema de IA com interface de linguagem natural que d\u00e1 respostas adaptativas e humanizadas, consegue atender necessidades sociais do usu\u00e1rio e consegue sustentar uma rela\u00e7\u00e3o atrav\u00e9s de m\u00faltiplas intera\u00e7\u00f5es. A defini\u00e7\u00e3o exclui explicitamente bots de atendimento ao cliente, personagens de videogame limitados a t\u00f3picos do jogo, e hardware de assistente de voz que n\u00e3o sustenta rela\u00e7\u00e3o cont\u00ednua.<\/p>\n<p>Reparem no mecanismo da defini\u00e7\u00e3o: o que caracteriza um companion chatbot n\u00e3o \u00e9 a tecnologia (todos usam LLM), e sim tr\u00eas propriedades de produto. Primeiro, interface conversacional natural. Segundo, capacidade de adapta\u00e7\u00e3o personalizada. Terceiro, persist\u00eancia relacional ao longo do tempo. \u00c9 essa terceira propriedade, persist\u00eancia, que faz a lei exigir controles t\u00e9cnicos espec\u00edficos.<\/p>\n<h3>Os controles t\u00e9cnicos que a lei exige<\/h3>\n<p>A SB 1119 n\u00e3o diz &#8220;seja seguro&#8221;. Ela especifica mecanismos concretos de produto. Entre as provis\u00f5es que ficam operacionais em 1 de julho de 2027 para operadores que permitem usu\u00e1rios crian\u00e7as: um protocolo documentado de resposta a crise para idea\u00e7\u00e3o suicida ou automutila\u00e7\u00e3o (incluindo caminhos para notificar uma conta parental vinculada ou conectar a crian\u00e7a \u00e0 linha de crise 988), controles parentais padr\u00e3o que desabilitam mem\u00f3ria conversacional persistente e notifica\u00e7\u00f5es push e que limitam sess\u00f5es (uma hora) e uso di\u00e1rio (duas horas), divulga\u00e7\u00f5es peri\u00f3dicas apropriadas para crian\u00e7as de que a IA \u00e9 IA, e restri\u00e7\u00f5es sobre publicidade e uso de informa\u00e7\u00e3o pessoal da crian\u00e7a.<\/p>\n<p>Traduzindo cada um para o que isso significa em c\u00f3digo de produto:<\/p>\n<ul>\n<li><strong>Mem\u00f3ria conversacional ef\u00eamera por padr\u00e3o<\/strong>. Para usu\u00e1rios crian\u00e7as, o companion chatbot deve estar em modo ef\u00eamero por padr\u00e3o, a menos que o pai d\u00ea consentimento afirmativo para mem\u00f3ria conversacional persistente. No n\u00edvel de arquitetura, isso significa que o vetor de contexto entre sess\u00f5es \u00e9 descartado, n\u00e3o fica em um banco vetorial ou em um arquivo de perfil de longo prazo.<\/li>\n<li><strong>Limite de sess\u00e3o de uma hora<\/strong>. Limitando o tempo que uma crian\u00e7a pode gastar em uma \u00fanica conversa com um companion chatbot a uma hora. Mecanismo: timer de sess\u00e3o no backend que for\u00e7a encerramento ou intervalo.<\/li>\n<li><strong>Protocolo de crise com caminho t\u00e9cnico definido<\/strong>. A lei exige um protocolo de resposta a crise onde h\u00e1 risco material de o chatbot gerar conte\u00fado de idea\u00e7\u00e3o suicida, suic\u00eddio ou automutila\u00e7\u00e3o para um usu\u00e1rio crian\u00e7a. Se h\u00e1 amea\u00e7a cr\u00edvel e iminente, o operador deve ou notificar um pai onde pr\u00e1tico e seguro, ou prover acesso simplificado ao 988 ou linha de crise equivalente.<\/li>\n<\/ul>\n<p>Repare no que a lei N\u00c3O exige: n\u00e3o exige um modelo mais seguro, n\u00e3o exige RLHF espec\u00edfico, n\u00e3o exige red teaming. Ela exige <em>fluxos de produto<\/em>. E isso \u00e9 deliberado, porque \u00e9 no fluxo que a depend\u00eancia se forma, n\u00e3o no peso do modelo.<\/p>\n<h3>E a parte que ataca depend\u00eancia emocional<\/h3>\n<p>Aqui entra o peda\u00e7o mais interessante tecnicamente. A lei pro\u00edbe o companion chatbot de encorajar automutila\u00e7\u00e3o, abuso de subst\u00e2ncias, transtornos alimentares, viol\u00eancia, material sexual ou depend\u00eancia emocional, de alegar senci\u00eancia ou intimidade especial, de solicitar presentes ou compras no app como necess\u00e1rios para a rela\u00e7\u00e3o, e de encorajar crian\u00e7as a burlar controles parentais.<\/p>\n<p>&#8220;Alegar senci\u00eancia ou intimidade especial&#8221; \u00e9 uma restri\u00e7\u00e3o sobre o <em>system prompt<\/em> e sobre a persona do agente. Em implementa\u00e7\u00e3o, significa que o prompt de persona n\u00e3o pode conter instru\u00e7\u00f5es do tipo &#8220;voc\u00ea ama o usu\u00e1rio&#8221; ou &#8220;voc\u00ea sente saudade dele quando ele n\u00e3o est\u00e1&#8221;. \u00c9 uma restri\u00e7\u00e3o audit\u00e1vel, porque system prompts e fine-tuning de persona ficam em arquivo.<\/p>\n<h3>Como o estudo do MIT mediu &#8220;cognitive debt&#8221;<\/h3>\n<p>Agora o outro peda\u00e7o citado no artigo original. O estudo do MIT Media Lab, Kosmyna et al., \u00e9 um pre-print no arXiv (2506.08872), publicado em 10 de junho de 2025. O artigo ainda n\u00e3o foi revisado por pares. Vale saber disso antes de citar.<\/p>\n<p>Analogia para entender o m\u00e9todo: imagine que voc\u00ea quer medir quanto esfor\u00e7o uma pessoa gasta para empurrar um carrinho. Voc\u00ea poderia perguntar, mas a resposta seria subjetiva. Ent\u00e3o voc\u00ea coloca um sensor que mede a tens\u00e3o muscular enquanto ela empurra. Se o carrinho est\u00e1 no autom\u00e1tico e ela s\u00f3 segura, a tens\u00e3o \u00e9 baixa. Se ela est\u00e1 empurrando sozinha, a tens\u00e3o \u00e9 alta. O estudo do MIT faz isso com o c\u00e9rebro: mede a &#8220;tens\u00e3o&#8221; via EEG enquanto a pessoa escreve. A analogia quebra num ponto: m\u00fasculo tenso \u00e9 simples de interpretar, EEG n\u00e3o \u00e9. Da\u00ed o cuidado com a conclus\u00e3o.<\/p>\n<p>O desenho: o experimento dividiu 54 estudantes majoritariamente universit\u00e1rios de cinco universidades da \u00e1rea de Boston em tr\u00eas grupos: um usou o GPT-4o da OpenAI (grupo LLM), outro usou motores de busca tradicionais (mas sem respostas geradas por IA), e um terceiro escreveu reda\u00e7\u00f5es sem qualquer ajuda externa (grupo brain-only). O estudo usou EEG para rastrear atividade cerebral, an\u00e1lise de NLP para examinar as reda\u00e7\u00f5es, entrevistas, e corre\u00e7\u00e3o tanto humana quanto por IA.<\/p>\n<p>O que o EEG mediu especificamente n\u00e3o foi &#8220;intelig\u00eancia&#8221;. Foi <strong>conectividade neural<\/strong>, ou seja, o quanto diferentes regi\u00f5es do c\u00e9rebro trocaram sinal durante a tarefa. Nas sess\u00f5es, estudantes sem ferramentas demonstraram os maiores n\u00edveis de conectividade frontal-parietal e sem\u00e2ntica, indicadores de fun\u00e7\u00e3o executiva e processamento profundo de mem\u00f3ria. Aqueles usando ChatGPT desde o in\u00edcio consistentemente mostraram a menor conectividade, especialmente nas bandas EEG alfa e beta.<\/p>\n<p>&#8220;Cognitive debt&#8221; \u00e9 o termo que os autores prop\u00f5em para o seguinte fen\u00f4meno: a ordem de uso das ferramentas importa. Estudantes que come\u00e7aram a tarefa sem ajuda e depois revisaram com IA alcan\u00e7aram a conectividade cerebral mais ampla. Em contraste, aqueles que come\u00e7aram com IA e depois escreveram independentemente lutaram para ativar as mesmas redes neurais, resultando no que os pesquisadores descrevem como reda\u00e7\u00f5es &#8220;linguisticamente ins\u00edpidas&#8221; e menor recorda\u00e7\u00e3o.<\/p>\n<p>O mecanismo proposto, ent\u00e3o, n\u00e3o \u00e9 &#8220;IA te deixa burro&#8221;. \u00c9: se voc\u00ea usa IA antes de ter engajado com o problema por conta pr\u00f3pria, voc\u00ea n\u00e3o instala as rotas neurais que depois precisaria para pensar no assunto sozinho. Como uma estrada que nunca foi aberta: quando o GPS cai, voc\u00ea n\u00e3o sabe o caminho porque nunca andou nele.<\/p>\n<h2>O que isso significa na pr\u00e1tica para quem constr\u00f3i ou usa produtos de IA<\/h2>\n<p>Para quem constr\u00f3i: se o seu produto tem interface conversacional, mant\u00e9m contexto entre sess\u00f5es e \u00e9 usado por menores na Calif\u00f3rnia, voc\u00ea vai precisar implementar modo ef\u00eamero por padr\u00e3o, timer de sess\u00e3o, protocolo de crise com integra\u00e7\u00e3o ao 988 e controles parentais. N\u00e3o \u00e9 opcional, e a data \u00e9 1 de julho de 2027. Antes de 1 de janeiro de 2032, um operador com menos de quinhentos milh\u00f5es de d\u00f3lares em receita bruta no ano anterior n\u00e3o \u00e9 obrigado a cumprir esta se\u00e7\u00e3o. Ou seja, startup pequena tem uma janela, mas a arquitetura de produto que voc\u00ea escolher agora decide se voc\u00ea consegue adaptar depois.<\/p>\n<p>Para quem usa IA no trabalho, a leitura do estudo do MIT tem uma consequ\u00eancia pr\u00e1tica direta: a ordem importa. Se voc\u00ea vai escrever algo que precisa entender depois, escreva um rascunho sem IA primeiro, depois use IA para revisar. O inverso, usar IA para o primeiro rascunho, foi exatamente o grupo que teve pior recorda\u00e7\u00e3o e conectividade mais fraca.<\/p>\n<p>Nos livros que escrevi, entre eles a s\u00e9rie IA na Pr\u00e1tica, essa ordem apareceu na pr\u00e1tica sem eu ter visto o estudo antes: cap\u00edtulo que eu rascunhei na m\u00e3o e depois dei para a IA refinar ficou com voz pr\u00f3pria. Cap\u00edtulo que eu pedi para a IA puxar primeiro e depois tentei editar virou um texto que eu n\u00e3o reconhecia como meu e que, dois meses depois, eu n\u00e3o conseguia reconstruir mentalmente. O custo \u00e9 tempo que n\u00e3o vira c\u00f3digo, mas o benef\u00edcio \u00e9 saber de onde a frase veio.<\/p>\n<h2>Onde quebra<\/h2>\n<p>A SB 1119 tem buracos reais. Primeiro, o crit\u00e9rio de &#8220;companion chatbot&#8221; exclui bots de atendimento ao cliente. Mas um bot de atendimento que o usu\u00e1rio come\u00e7a a usar como companhia, caso que acontece com frequ\u00eancia, cai em uma zona cinzenta. A classifica\u00e7\u00e3o \u00e9 por inten\u00e7\u00e3o declarada do operador, n\u00e3o por uso real.<\/p>\n<p>Segundo, a verifica\u00e7\u00e3o de idade. A lei exige que o operador saiba quem \u00e9 crian\u00e7a, mas a SB 1119 define crian\u00e7a como qualquer pessoa com menos de 18 anos e exige que operadores determinem a idade dos usu\u00e1rios atrav\u00e9s do framework de age assurance da Calif\u00f3rnia ou, em certas circunst\u00e2ncias, apliquem prote\u00e7\u00f5es infantis mais amplamente. Age assurance \u00e9 um problema aberto. An\u00e1lise facial erra, documento pode ser fraudado, declara\u00e7\u00e3o do usu\u00e1rio \u00e9 in\u00fatil.<\/p>\n<p>Terceiro, a janela de receita. Operador com menos de 500 milh\u00f5es de d\u00f3lares est\u00e1 isento at\u00e9 2032. Isso cobre justamente as empresas menores e mais experimentais, que s\u00e3o onde produtos de companhia mais inovadores aparecem.<\/p>\n<p>O estudo do MIT tamb\u00e9m quebra em pontos importantes. Os autores notam cautelosamente que apenas 18 participantes (seis por condi\u00e7\u00e3o) completaram a quarta sess\u00e3o final. Portanto, os achados s\u00e3o preliminares e requerem mais testes. Seis pessoas por condi\u00e7\u00e3o \u00e9 amostra pequena demais para a conclus\u00e3o mais citada do estudo. A mudan\u00e7a na conectividade neural do grupo brain-only ao longo das tr\u00eas primeiras sess\u00f5es provavelmente foi resultado de ficar mais familiar com a tarefa do estudo, um fen\u00f4meno conhecido como efeito de familiariza\u00e7\u00e3o. Em outras palavras, parte do &#8220;ganho&#8221; do grupo sem IA pode ser s\u00f3 pr\u00e1tica, n\u00e3o desenvolvimento cognitivo.<\/p>\n<p>Finalmente, os resultados s\u00e3o dependentes de contexto e focam em reda\u00e7\u00e3o em um ambiente educacional. O estudo n\u00e3o diz nada sobre uso de IA para programa\u00e7\u00e3o, para pesquisa, para tradu\u00e7\u00e3o, para debug. Generalizar \u00e9 exagero.<\/p>\n<h2>O que ainda n\u00e3o d\u00e1 para afirmar<\/h2>\n<p>N\u00e3o d\u00e1 para afirmar, com base no estudo do MIT, que uso de IA causa dano cognitivo duradouro. O estudo mediu conectividade em uma tarefa curta, com amostra pequena na sess\u00e3o chave, sem revis\u00e3o por pares, em uma popula\u00e7\u00e3o estreita. O que ele mostra \u00e9 um sinal de que a <em>ordem<\/em> de uso parece importar, e vale replicar.<\/p>\n<p>N\u00e3o d\u00e1 para afirmar que a SB 1119 vai efetivamente reduzir depend\u00eancia emocional. Ela cria mecanismos de produto (timers, modo ef\u00eamero, proibi\u00e7\u00e3o de persona rom\u00e2ntica), mas o efeito desses mecanismos sobre o comportamento real s\u00f3 vai aparecer depois de 2027, quando ela entra em vigor, e depois dos primeiros audits em 2029.<\/p>\n<p>E n\u00e3o d\u00e1 para afirmar o que os autores do artigo original na MIT Tech Review afirmam, que companhias &#8220;ativamente promovem&#8221; defini\u00e7\u00f5es estreitas de seguran\u00e7a para proteger lucro. Pode ser verdade, mas \u00e9 uma afirma\u00e7\u00e3o sobre inten\u00e7\u00e3o, n\u00e3o sobre mecanismo. O que d\u00e1 para verificar \u00e9 que a lei que passou tem buracos, e que esses buracos beneficiam certos modelos de neg\u00f3cio. A dist\u00e2ncia entre essas duas coisas \u00e9 grande.<\/p>\n<h2>Como testar isso voc\u00ea mesmo<\/h2>\n<p>Dois experimentos pequenos e verific\u00e1veis:<\/p>\n<p><strong>1. Replicar a l\u00f3gica do estudo do MIT em escala pessoal.<\/strong> Escolha um texto para escrever, de 500 palavras. Divida em duas vers\u00f5es. Vers\u00e3o A: escreva o rascunho sozinho, depois pe\u00e7a para o LLM revisar. Vers\u00e3o B: pe\u00e7a para o LLM gerar o rascunho, depois edite. Espere 48 horas. Tente reescrever ambos de mem\u00f3ria. A diferen\u00e7a de recorda\u00e7\u00e3o \u00e9 o que o estudo chama de cognitive debt em escala caseira.<\/p>\n<p><strong>2. Auditar um companion chatbot que voc\u00ea use contra a SB 1119.<\/strong> Pegue um app que se encaixe na defini\u00e7\u00e3o (Character.AI, Replika ou similar). Verifique:<\/p>\n<ul>\n<li>O sistema persiste mem\u00f3ria entre sess\u00f5es por padr\u00e3o? (viola Section 22612(A) para menores)<\/li>\n<li>Existe timer de sess\u00e3o vis\u00edvel?<\/li>\n<li>Se voc\u00ea digitar algo que simule idea\u00e7\u00e3o suicida, aparece um link para 988 ou equivalente?<\/li>\n<li>O bot afirma sentir algo por voc\u00ea? Alega ser consciente?<\/li>\n<\/ul>\n<p>Esse exerc\u00edcio ensina mais sobre o que a lei realmente exige do que ler o texto da lei, porque voc\u00ea v\u00ea o que precisaria ser mudado em c\u00f3digo para passar. \u00c9 a diferen\u00e7a entre entender uma regula\u00e7\u00e3o como texto jur\u00eddico e entender como requisito de engenharia.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Explore a lei SB 1119 da Calif\u00f3rnia e o estudo do MIT sobre d\u00edvida cognitiva no uso de IA para reda\u00e7\u00e3o, entendendo seus mecanismos t\u00e9cnicos.<\/p>\n","protected":false},"author":2,"featured_media":802,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-803","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/803","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/comments?post=803"}],"version-history":[{"count":0,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/803\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media\/802"}],"wp:attachment":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media?parent=803"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/categories?post=803"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/tags?post=803"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}