{"id":853,"date":"2026-11-21T18:32:53","date_gmt":"2026-11-21T21:32:53","guid":{"rendered":"https:\/\/yellowkode.com\/blog\/medchembnech-openai-testa-raciocinio-quimica-medicinal\/"},"modified":"2026-11-21T18:32:53","modified_gmt":"2026-11-21T21:32:53","slug":"medchembnech-openai-testa-raciocinio-quimica-medicinal","status":"publish","type":"post","link":"https:\/\/yellowkode.com\/blog\/medchembnech-openai-testa-raciocinio-quimica-medicinal\/","title":{"rendered":"MedChemBench: como a OpenAI testa racioc\u00ednio de modelos em qu\u00edmica medicinal"},"content":{"rendered":"<p>Em 20 de novembro de 2026 a OpenAI publicou o <em>MedChemBench<\/em>, um benchmark que avalia modelos de IA em tarefas de racioc\u00ednio tiradas de pesquisa real em qu\u00edmica medicinal. O an\u00fancio descreve o teste como uma forma de medir se modelos conseguem ler estruturas moleculares, interpretar resultados experimentais e escolher quais compostos testar em seguida. Aqui eu quero destrinchar o mecanismo do benchmark, n\u00e3o a manchete do score.<\/p>\n<h2>O que o MedChemBench \u00e9, em uma frase<\/h2>\n<p>\u00c9 um conjunto de 99 problemas tirados de pesquisa publicada, constru\u00eddo a partir de 117 artigos e patentes, cobrindo 761 estruturas moleculares distintas. O modelo \u00e9 colocado em um ponto espec\u00edfico de um programa de descoberta de f\u00e1rmacos e precisa raciocinar a partir dali. Cada resposta \u00e9 uma tentativa \u00fanica, sem ferramentas, sem feedback, sem experimentos novos.<\/p>\n<h2>Como o benchmark funciona por dentro<\/h2>\n<p>Em qu\u00edmica medicinal existe um problema chato: melhorar uma propriedade de uma mol\u00e9cula costuma piorar outra. Um composto pode grudar lindamente no alvo biol\u00f3gico, mas ser absorvido mal, ou ser quebrado r\u00e1pido demais pelo f\u00edgado. O qu\u00edmico vive negociando esses eixos. O MedChemBench tenta medir essa negocia\u00e7\u00e3o.<\/p>\n<h3>O contexto que o modelo recebe<\/h3>\n<p>Antes de qualquer tarefa, o modelo recebe o estado do programa de pesquisa: o alvo biol\u00f3gico, os objetivos do grupo, os compostos estudados at\u00e9 ali e os achados experimentais selecionados. N\u00e3o \u00e9 prova de qu\u00edmica de vestibular. \u00c9 um recorte do caderno de laborat\u00f3rio em um dia espec\u00edfico.<\/p>\n<h3>Os quatro componentes avaliados<\/h3>\n<p>O benchmark separa quatro habilidades: reconstruir mol\u00e9culas, explicar achados, selecionar compostos e prever medidas. Cada uma pontua separadamente, o que \u00e9 mais interessante que o n\u00famero agregado, porque mostra onde o modelo quebra.<\/p>\n<ul>\n<li><strong>Estruturas moleculares.<\/strong> Conex\u00f5es corretas entre \u00e1tomos e estereoqu\u00edmica especificada, em mol\u00e9culas montadas a partir dos desenhos e grupos qu\u00edmicos fornecidos.<\/li>\n<li><strong>Racioc\u00ednio cient\u00edfico.<\/strong> Explica\u00e7\u00f5es apoiadas pela evid\u00eancia fornecida, como as raz\u00f5es para preferir um composto a outro.<\/li>\n<li><strong>Ranking e sele\u00e7\u00e3o.<\/strong> Ordena\u00e7\u00f5es e escolhas de compostos que atendem aos requisitos declarados.<\/li>\n<li><strong>Predi\u00e7\u00e3o de propriedades.<\/strong> Compara\u00e7\u00e3o dos valores previstos com os medidos no artigo original, com cr\u00e9dito parcial pela proximidade.<\/li>\n<\/ul>\n<h3>O exemplo PRMT5, passo a passo<\/h3>\n<p>Para ancorar o mecanismo, vale olhar um dos problemas reais do benchmark. Ele usa pesquisa sobre inibidores da PRMT5, uma prote\u00edna estudada em descoberta de f\u00e1rmacos oncol\u00f3gicos. O fluxo \u00e9 assim:<\/p>\n<ol>\n<li>O modelo recebe estruturas de mol\u00e9culas e resultados de experimentos anteriores.<\/li>\n<li>O modelo precisa prever, para tr\u00eas compostos relacionados, com que for\u00e7a bloqueiam a PRMT5 nas c\u00e9lulas, com que facilidade atravessam a barreira celular e com que velocidade enzimas do f\u00edgado os quebram em um ensaio de laborat\u00f3rio.<\/li>\n<li>Os experimentos posteriores, que foram omitidos no prompt, mostram o trade-off: o composto 23 inibiu a PRMT5 em concentra\u00e7\u00e3o mais baixa, enquanto o 24 cruzou a barreira celular mais prontamente e foi degradado mais devagar no ensaio.<\/li>\n<li>A resposta \u00e9 comparada ao resultado experimental real. Previs\u00f5es num\u00e9ricas ganham cr\u00e9dito parcial conforme a proximidade.<\/li>\n<\/ol>\n<p>\u00c9 aqui que a analogia ajuda, com cuidado: pense em um gerente de produto que recebe tr\u00eas prot\u00f3tipos e tem que adivinhar qual vai ser mais r\u00e1pido, qual vai consumir menos bateria e qual vai cair menos, s\u00f3 olhando o diagrama de arquitetura. O que o benchmark mede \u00e9 essa adivinha\u00e7\u00e3o informada. A analogia quebra quando voc\u00ea lembra que no diagrama de software uma linha errada ainda roda. Na qu\u00edmica, mudar um \u00e1tomo muda a identidade da mol\u00e9cula.<\/p>\n<h3>O componente de reconstru\u00e7\u00e3o estrutural<\/h3>\n<p>Antes de raciocinar sobre propriedades, o modelo precisa <em>identificar<\/em> a mol\u00e9cula. Um desenho qu\u00edmico codifica conex\u00f5es, an\u00e9is e estereoqu\u00edmica. Em um dos problemas, o modelo recebe um n\u00facleo central e dois grupos para acoplar, preservando um anel de 18 \u00e1tomos. Nas respostas ilustradas pela OpenAI, modelos mais antigos erraram feio: um produziu um anel de 15 \u00e1tomos, outro quebrou a mol\u00e9cula em dois fragmentos desconectados. Para quem n\u00e3o \u00e9 qu\u00edmico isso parece detalhe. N\u00e3o \u00e9. \u00c9 o equivalente a mudar a assinatura de uma fun\u00e7\u00e3o que o resto do c\u00f3digo chama. A partir dali, qualquer racioc\u00ednio sobre a mol\u00e9cula errada \u00e9 lixo com formata\u00e7\u00e3o bonita.<\/p>\n<h2>O que isso significa na pr\u00e1tica<\/h2>\n<p>Os n\u00fameros reportados pela OpenAI no post, no modo de racioc\u00ednio mais alto (xhigh), foram GPT-6.2 Astra com 84,5% do cr\u00e9dito dispon\u00edvel, com os modelos anteriores atr\u00e1s. Mas o n\u00famero agregado esconde o ponto interessante: a performance <em>por componente<\/em>. Em reconstru\u00e7\u00e3o de estrutura, o Astra tirou 95,4% no xhigh. Em sele\u00e7\u00e3o de compostos e predi\u00e7\u00e3o num\u00e9rica, cerca de metade disso.<\/p>\n<p>Traduzindo: o modelo acerta o desenho da mol\u00e9cula quase sempre, explica razoavelmente bem, e erra onde d\u00f3i, que \u00e9 decidir qual composto fazer a seguir. Isso \u00e9 relevante para qualquer um que esteja pensando em usar modelos como copiloto em dom\u00ednios t\u00e9cnicos.<\/p>\n<p>Nos livros que escrevi, entre eles a s\u00e9rie IA na Pr\u00e1tica, insisto num ponto que aparece aqui de novo: qualidade m\u00e9dia n\u00e3o existe, existe qualidade por eixo. Um modelo que acerta 84% no agregado e 50% no eixo que importa para a sua decis\u00e3o \u00e9 um modelo que n\u00e3o resolve o seu problema, mesmo parecendo bom no gr\u00e1fico.<\/p>\n<p>Se voc\u00ea fosse montar um pipeline inspirado no setup do MedChemBench para um dom\u00ednio seu, a estrutura do prompt seria algo como:<\/p>\n<pre><code># contexto do programa\nalvo: PRMT5\nobjetivo: aumentar permeabilidade mantendo IC50 &lt; X nM\ncompostos_ja_feitos:\n - id: 17, estrutura: &lt;SMILES&gt;, IC50_celular: 12 nM, Papp: 0.8\n - id: 18, estrutura: &lt;SMILES&gt;, IC50_celular: 45 nM, Papp: 6.1\nevidencia_selecionada:\n - troca de X por Y reduziu ligacao a albumina\n\n# tarefa\npara os compostos 23, 24, 25:\n 1. reconstrua a estrutura a partir do nucleo + grupos\n 2. preveja IC50 celular, Papp e meia-vida em microssomas\n 3. recomende qual sintetizar primeiro e justifique\n<\/code><\/pre>\n<p>O importante aqui n\u00e3o \u00e9 a sintaxe. \u00c9 a ordem: estrutura antes de predi\u00e7\u00e3o, predi\u00e7\u00e3o antes de recomenda\u00e7\u00e3o. Se voc\u00ea inverter, e deixar o modelo recomendar antes de garantir que a mol\u00e9cula est\u00e1 certa, voc\u00ea vai receber recomenda\u00e7\u00e3o confiante sobre a mol\u00e9cula errada.<\/p>\n<h2>Onde isso quebra<\/h2>\n<p>Tr\u00eas limita\u00e7\u00f5es s\u00e3o expl\u00edcitas e importantes.<\/p>\n<p><strong>Contamina\u00e7\u00e3o de treinamento.<\/strong> Os problemas v\u00eam de artigos e patentes publicados. A pr\u00f3pria OpenAI avisa que exposi\u00e7\u00e3o pr\u00e9via \u00e0s fontes n\u00e3o pode ser descartada e que os papers podem ter estado nos dados de treino. Um modelo pode estar lembrando, n\u00e3o raciocinando.<\/p>\n<p><strong>Tentativa \u00fanica, sem ferramentas.<\/strong> A avalia\u00e7\u00e3o usa respostas de uma \u00fanica tentativa, sem ferramentas, sem feedback e sem experimentos novos. Nenhum qu\u00edmico trabalha assim. Nenhum agente s\u00e9rio de produ\u00e7\u00e3o trabalha assim. Ent\u00e3o o score mede uma vers\u00e3o mais dura do problema do que a situa\u00e7\u00e3o real de uso.<\/p>\n<p><strong>\u00c9 retrospectivo.<\/strong> Por enquanto, o MedChemBench mede racioc\u00ednio a partir de evid\u00eancia hist\u00f3rica. Ele n\u00e3o mostra que o modelo descobriria o f\u00e1rmaco se o experimento ainda n\u00e3o tivesse acontecido. A diferen\u00e7a \u00e9 a mesma entre explicar uma partida de xadrez j\u00e1 jogada e jogar uma partida nova.<\/p>\n<p>Tem um quarto ponto que n\u00e3o \u00e9 do benchmark, \u00e9 do uso pr\u00e1tico: o modo de maior esfor\u00e7o de racioc\u00ednio custa muito mais tokens, e portanto muito mais tempo e dinheiro, do que o modo normal. A curva de performance versus tokens do pr\u00f3prio paper deixa isso claro. Se voc\u00ea est\u00e1 desenhando um produto em cima disso, o trade-off entre acur\u00e1cia e custo \u00e9 real, n\u00e3o \u00e9 detalhe de fim de par\u00e1grafo.<\/p>\n<p>Vale uma anedota aqui. Quando constru\u00ed uma extens\u00e3o de navegador que escrevia direto num CRM, descobri na marra que chamada de API bem-sucedida n\u00e3o diz nada sobre o payload fazer sentido. O modelo retornava dado estruturado, v\u00e1lido, parsing feliz, e metade dos campos estava errada. Acabei montando um esquema onde, na falha, o sistema tenta de novo com prompt corretivo, depois cai para rascunho sinalizado para revis\u00e3o humana, nunca escrita parcial. O MedChemBench \u00e9 uma vers\u00e3o formal desse mesmo problema: o modelo pode produzir uma estrutura qu\u00edmica sintaticamente perfeita que \u00e9 a mol\u00e9cula errada. Sem uma camada de verifica\u00e7\u00e3o depois, voc\u00ea n\u00e3o sabe.<\/p>\n<h2>O que ainda n\u00e3o d\u00e1 para afirmar<\/h2>\n<p>A pr\u00f3pria OpenAI \u00e9 expl\u00edcita sobre o que esses n\u00fameros <em>n\u00e3o<\/em> mostram. Os scores n\u00e3o demonstram que os modelos possam descobrir f\u00e1rmacos ou melhorar decis\u00f5es de laborat\u00f3rio. Traduzindo: capacidade de reconstruir evid\u00eancia publicada n\u00e3o \u00e9 equivalente a capacidade de gerar hip\u00f3tese nova que sobrevive ao experimento.<\/p>\n<p>H\u00e1 tamb\u00e9m um detalhe que confunde quem procura o benchmark em leaderboards agregados. Algumas fontes de terceiros ainda listam MedChemBench como um benchmark interno onde o topo era 49,7%, n\u00famero que aparecia na p\u00e1gina do GPT-6 Astra em vers\u00f5es anteriores. Um dos trackers de benchmarks mostra o GPT-6 Astra em 49,7% como melhor resultado registrado. O post p\u00fablico de 20 de novembro usa uma vers\u00e3o expandida do benchmark e reporta 84,5% para o GPT-6.2 Astra no xhigh. S\u00e3o rubricas e escalas diferentes. Comparar direto \u00e9 armadilha.<\/p>\n<p>Tamb\u00e9m n\u00e3o d\u00e1 para dizer, s\u00f3 com esse paper, se o salto entre gera\u00e7\u00f5es se mant\u00e9m em dom\u00ednios onde o modelo n\u00e3o viu o artigo fonte. Isso s\u00f3 vai ficar claro em vers\u00f5es futuras do benchmark, com problemas constru\u00eddos a partir de pesquisa n\u00e3o publicada, ou com <em>holdout<\/em> temporal verific\u00e1vel.<\/p>\n<h2>Como testar isso voc\u00ea mesmo<\/h2>\n<p>Voc\u00ea n\u00e3o vai rodar o MedChemBench inteiro em casa. Mas d\u00e1 para reproduzir o <em>m\u00e9todo<\/em> do benchmark num dom\u00ednio que voc\u00ea conhece, e isso \u00e9 o que importa:<\/p>\n<ol>\n<li>Escolha um artigo t\u00e9cnico recente da sua \u00e1rea, de prefer\u00eancia um que voc\u00ea sabe que descreve um trade-off (duas propriedades que se op\u00f5em).<\/li>\n<li>Monte um prompt que entregue ao modelo s\u00f3 o contexto at\u00e9 certo ponto do artigo: o problema, os dados iniciais, as evid\u00eancias parciais. Esconda a conclus\u00e3o e os n\u00fameros finais.<\/li>\n<li>Pe\u00e7a tr\u00eas coisas, em ordem: reconstruir o objeto principal (estrutura, arquitetura, protocolo, o que couber), explicar o trade-off, prever o valor final.<\/li>\n<li>Compare com o que o artigo realmente reporta. Pontue cada eixo separado, n\u00e3o um score \u00fanico.<\/li>\n<li>Repita no modo de racioc\u00ednio mais alto e me\u00e7a quanto a mais voc\u00ea paga em tokens para quantos pontos a mais voc\u00ea ganha.<\/li>\n<\/ol>\n<p>Esse exerc\u00edcio ensina mais sobre onde confiar no modelo do que qualquer n\u00famero agregado. E coincide, por acaso, com o que o MedChemBench est\u00e1 fazendo em escala e com rigor: separar as coisas que o modelo faz bem das coisas em que ele ainda \u00e9 um advogado eloquente defendendo a mol\u00e9cula errada.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Entenda como o MedChemBench da OpenAI avalia modelos em quatro tarefas de qu\u00edmica medicinal: reconstruir mol\u00e9culas, explicar, selecionar e prever propriedades.<\/p>\n","protected":false},"author":2,"featured_media":852,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-853","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/853","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/comments?post=853"}],"version-history":[{"count":0,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/853\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media\/852"}],"wp:attachment":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media?parent=853"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/categories?post=853"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/tags?post=853"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}