{"id":825,"date":"2026-11-07T18:32:26","date_gmt":"2026-11-07T21:32:26","guid":{"rendered":"https:\/\/yellowkode.com\/blog\/biobasicsbench-avaliacao-ia-laboratorio\/"},"modified":"2026-11-07T18:32:26","modified_gmt":"2026-11-07T21:32:26","slug":"biobasicsbench-avaliacao-ia-laboratorio","status":"publish","type":"post","link":"https:\/\/yellowkode.com\/blog\/biobasicsbench-avaliacao-ia-laboratorio\/","title":{"rendered":"BioBasicsBench: Como a OpenAI Avalia Agentes de IA em Tarefas de Laborat\u00f3rio"},"content":{"rendered":"<p>Em 6 de novembro de 2026, a OpenAI publicou um benchmark chamado <strong>BioBasicsBench<\/strong>, desenvolvido em parceria com a Ligo, uma empresa de biotecnologia focada em design de enzimas. O objetivo declarado \u00e9 medir o quanto agentes de IA conseguem interpretar dados brutos de experimentos rotineiros de laborat\u00f3rio \u00famido (wet-lab), aquele trabalho de bancada com gel, placa de col\u00f4nia, microscopia e sequenciamento. S\u00e3o 100 tarefas, constru\u00eddas a partir de experimentos reais.<\/p>\n<p>Este artigo n\u00e3o \u00e9 sobre o placar. \u00c9 sobre entender como o benchmark est\u00e1 constru\u00eddo, o que ele de fato mede, e onde ele n\u00e3o consegue responder \u00e0 pergunta que parece responder.<\/p>\n<h2>Como o benchmark est\u00e1 constru\u00eddo<\/h2>\n<p>Antes de qualquer coisa, uma ressalva: a OpenAI publicou um resumo p\u00fablico do BioBasicsBench, mas o dataset em si n\u00e3o est\u00e1 aberto para rodar modelos externos. Ent\u00e3o o que descrevo abaixo vem do que a OpenAI e a imprensa t\u00e9cnica relataram, n\u00e3o de inspe\u00e7\u00e3o direta dos prompts.<\/p>\n<h3>As cinco \u00e1reas de tarefa<\/h3>\n<p>BioBasicsBench tem 100 tarefas distribu\u00eddas em cinco \u00e1reas de trabalho rotineiro de wet-lab: m\u00e9todos de prote\u00edna, imageamento e citometria, quantifica\u00e7\u00e3o e ensaios, m\u00e9todos de \u00e1cido nucleico e clonagem molecular. A dificuldade varia de pedidos simples, como ler o peso molecular de uma amostra de DNA em um gel, at\u00e9 an\u00e1lises de ensaio detalhadas, mas todas envolvem trabalho de rotina que cientistas de bancada deveriam conseguir completar de forma confi\u00e1vel.<\/p>\n<h3>O que o agente recebe e o que ele devolve<\/h3>\n<p>A entrada \u00e9 evid\u00eancia experimental bruta. Pense em imagens de gel, fotos de placas de col\u00f4nia, microscopia, arquivos de sequenciamento, exporta\u00e7\u00f5es de instrumento. A sa\u00edda n\u00e3o \u00e9 uma \u00fanica resposta de m\u00faltipla escolha. Os agentes devolvem conclus\u00f5es estruturadas, medi\u00e7\u00f5es ou recomenda\u00e7\u00f5es, e as rubricas d\u00e3o cr\u00e9dito por elementos incluindo resultados num\u00e9ricos, racioc\u00ednio de apoio e reconhecimento de que a evid\u00eancia \u00e9 insuficiente.<\/p>\n<p>Esse \u00faltimo ponto \u00e9 o mais interessante do design. O benchmark n\u00e3o premia s\u00f3 &#8220;acertar o n\u00famero&#8221;. Ele premia o agente que diz &#8220;com esta evid\u00eancia, n\u00e3o d\u00e1 para concluir&#8221;. O benchmark se prop\u00f5e a testar se agentes conseguem interpretar dados brutos de laborat\u00f3rio, identificar erros e reconhecer quando a evid\u00eancia n\u00e3o suporta uma conclus\u00e3o.<\/p>\n<h3>Como as respostas s\u00e3o pontuadas<\/h3>\n<p>Em vez de certo\/errado bin\u00e1rio, o BioBasicsBench usa rubricas com cr\u00e9dito parcial. Cada tarefa tem uma rubrica escrita pelo cientista que a criou, com crit\u00e9rios individuais que podem ser cumpridos em partes. A OpenAI diz que os cientistas escreveram as tarefas a partir de seus pr\u00f3prios experimentos, cada uma com uma rubrica de corre\u00e7\u00e3o escrita por especialista, e que cada tarefa foi revisada internamente por um cientista da Ligo que n\u00e3o a havia escrito, externamente por um cientista de n\u00edvel PhD trabalhando em um wet-lab, e em uma revis\u00e3o interna final. Respostas ganham cr\u00e9dito parcial contra crit\u00e9rios individuais da rubrica.<\/p>\n<p>A m\u00e9trica que a OpenAI reporta \u00e9 o <strong>mean reward<\/strong>, ou recompensa m\u00e9dia. \u00c9 o escore m\u00e9dio por tarefa como porcentagem do cr\u00e9dito dispon\u00edvel, e as barras de erro s\u00e3o intervalos de confian\u00e7a de 95% calculados reamostrando tarefas inteiras.<\/p>\n<p>Uma analogia para entender o mean reward: imagine uma prova discursiva de biologia onde cada quest\u00e3o vale 10 pontos e o professor divide esses 10 pontos em subitens (identificou a banda certa, calculou o peso certo, notou o controle faltando, concluiu corretamente). O aluno pode tirar 6 em uma quest\u00e3o porque acertou tr\u00eas subitens de cinco. A nota final da prova \u00e9 a m\u00e9dia percentual desses pontos parciais. \u00c9 isso, e n\u00e3o &#8220;quantas quest\u00f5es ele acertou inteiras&#8221;. A analogia quebra num ponto: aqui quem corrige n\u00e3o \u00e9 um professor humano para cada submiss\u00e3o, \u00e9 uma rubrica pr\u00e9-definida aplicada automaticamente, o que exige que a rubrica esteja escrita de forma objetiva o suficiente para ser aplicada sem ambiguidade.<\/p>\n<h3>A revis\u00e3o em tr\u00eas camadas<\/h3>\n<p>Cada tarefa passou por um processo de tr\u00eas etapas antes de entrar no benchmark. Cada tarefa recebeu uma revis\u00e3o interna por um cientista da Ligo que n\u00e3o a havia escrito, uma revis\u00e3o externa por um cientista PhD de wet-lab, e uma revis\u00e3o interna final cobrindo o prompt, a evid\u00eancia, a rubrica, as notas do autor e uma tentativa de modelo graduada. Isso explica por que s\u00e3o s\u00f3 100 tarefas: cada uma custa muito trabalho humano qualificado.<\/p>\n<h2>O que isso significa na pr\u00e1tica<\/h2>\n<p>Nos resultados que a OpenAI publicou, GPT-6 Astra ganhou em m\u00e9dia 66,7% do cr\u00e9dito dispon\u00edvel no BioBasicsBench, no modo de racioc\u00ednio mais alto reportado. Para contexto, na configura\u00e7\u00e3o &#8216;xhigh&#8217;, a mais alta reportada para os sete modelos, o post lista mean reward de 66,7% para GPT-6 Astra, 62,0% para GPT-6.1 Sol, 43,8% para GPT-5.6 Sol, 38,3% para GPT-6 Luna, 35,4% para GPT-5.5.<\/p>\n<p>O n\u00famero que importa entender aqui n\u00e3o \u00e9 o 66,7%. \u00c9 o que ele <em>n\u00e3o<\/em> significa. Uma recompensa m\u00e9dia de 66,7% n\u00e3o diz que o modelo resolveu exatamente 66,7 das 100 tarefas. Significa que, somando cr\u00e9dito parcial em todas as tarefas e tirando a m\u00e9dia, o agente ficou com dois ter\u00e7os dos pontos poss\u00edveis. Pode ter acertado muita coisa pela metade, pode ter acertado metade das tarefas inteiramente, pode ser qualquer combina\u00e7\u00e3o entre esses extremos.<\/p>\n<p>Isso me lembra do meu pr\u00f3prio trabalho construindo um servidor MCP publicado no npm: quando voc\u00ea projeta a interface pela qual a ferramenta vai ser avaliada (seja por outro agente, seja por um usu\u00e1rio humano), a estrutura do que voc\u00ea aceita como &#8220;resposta parcial&#8221; determina tudo sobre como algu\u00e9m mede sucesso. O BioBasicsBench escolheu rubrica multi-crit\u00e9rio porque wet-lab n\u00e3o tem resposta \u00fanica. Essa escolha de design propaga para o que o placar quer dizer.<\/p>\n<h3>Um exemplo concreto de tarefa<\/h3>\n<p>Entre as tarefas descritas publicamente, uma envolve contagem de col\u00f4nias em uma placa de \u00e1gar. O agente recebe a imagem da placa e precisa contar as col\u00f4nias. Em uma tarefa de contagem de col\u00f4nias, a OpenAI relata que Astra falhou em separar vizinhos pr\u00f3ximos, perdeu col\u00f4nias vis\u00edveis e marcou \u00e1gar vazio, produzindo um sobre-contagem de aproximadamente 12% em rela\u00e7\u00e3o \u00e0 refer\u00eancia do benchmark.<\/p>\n<p>Outra tarefa descrita envolve interpreta\u00e7\u00e3o de microscopia. Astra generalizou que vac\u00faolos, compartimentos dentro de c\u00e9lulas, s\u00e3o geralmente mais escuros que o material celular ao redor, apesar de haver vac\u00faolos mais claros na mesma imagem. Mudar a profundidade focal pode inverter o contraste, e as pr\u00f3prias observa\u00e7\u00f5es intermedi\u00e1rias de Astra notaram que o contraste variava com o foco. O modelo tinha a observa\u00e7\u00e3o correta no pr\u00f3prio trace, mas aplicou uma regra geral por cima dela.<\/p>\n<h2>Onde o benchmark quebra<\/h2>\n<p>Tr\u00eas limita\u00e7\u00f5es s\u00e3o importantes para quem quer usar esse resultado para tomar decis\u00e3o.<\/p>\n<p><strong>Primeiro, voc\u00ea n\u00e3o pode reproduzir.<\/strong> Labs externos ainda n\u00e3o podem rodar seus pr\u00f3prios modelos no BioBasicsBench, reproduzir os placares da OpenAI, ou testar se as rubricas premiam as coisas certas. Isso significa que o n\u00famero que voc\u00ea v\u00ea \u00e9 o n\u00famero que a OpenAI reporta, avaliando modelos da pr\u00f3pria OpenAI, usando rubricas que a OpenAI (com a Ligo) escreveu. N\u00e3o \u00e9 m\u00e1 f\u00e9, \u00e9 apenas o estado atual da publica\u00e7\u00e3o.<\/p>\n<p><strong>Segundo, n\u00e3o h\u00e1 baseline humano publicado.<\/strong> A OpenAI reporta resultados apenas para seus pr\u00f3prios modelos e nenhum baseline humano. Ent\u00e3o &#8220;66,7% de cr\u00e9dito&#8221; n\u00e3o est\u00e1 calibrado contra &#8220;quanto um cientista de wet-lab tira nessa mesma prova&#8221;. Pode ser que um PhD tire 95%. Pode ser que tire 75%. Sem esse dado, d\u00e1 para comparar modelos entre si, mas n\u00e3o d\u00e1 para dizer &#8220;a IA est\u00e1 no n\u00edvel de um humano j\u00fanior&#8221; ou qualquer afirma\u00e7\u00e3o parecida.<\/p>\n<p><strong>Terceiro, a pr\u00f3pria OpenAI avisa que o n\u00famero alto n\u00e3o quer dizer capacidade cl\u00ednica confi\u00e1vel.<\/strong> A OpenAI alerta que escores mais altos ainda n\u00e3o significam julgamento laboratorial confi\u00e1vel. Os erros descritos (contagem de col\u00f4nia errada por 12%, generaliza\u00e7\u00e3o equivocada sobre vac\u00faolos) s\u00e3o exatamente o tipo de erro que, em um pipeline de produ\u00e7\u00e3o, pode custar uma rodada experimental inteira ou induzir uma conclus\u00e3o falsa que vira hip\u00f3tese para o experimento seguinte.<\/p>\n<h2>O que n\u00e3o d\u00e1 para afirmar a partir deste material<\/h2>\n<p>Esta se\u00e7\u00e3o \u00e9 curta e deliberada. Com o que foi publicado at\u00e9 agora:<\/p>\n<ul>\n<li>N\u00e3o d\u00e1 para dizer se o benchmark cobre bem a variedade de wet-labs do mundo. 100 tarefas constru\u00eddas por uma \u00fanica empresa (Ligo, focada em design de enzimas) podem ter vi\u00e9s de dom\u00ednio. O material p\u00fablico n\u00e3o quantifica isso.<\/li>\n<li>N\u00e3o d\u00e1 para dizer quanto da diferen\u00e7a entre modelos (Astra a 66,7% vs Sol a 43,8%) vem de capacidade multimodal, de racioc\u00ednio, de calibra\u00e7\u00e3o, ou de treino espec\u00edfico. A OpenAI n\u00e3o publicou an\u00e1lise de erro por categoria que permita isolar essas fontes.<\/li>\n<li>N\u00e3o d\u00e1 para prever se o n\u00famero sobe de forma monot\u00f4nica com o tamanho do modelo, ou se h\u00e1 regime em que reasoning effort alto piora o resultado (overthinking em tarefas simples). O resumo p\u00fablico n\u00e3o traz essa curva.<\/li>\n<li>N\u00e3o d\u00e1 para avaliar o risco de contamina\u00e7\u00e3o de treino, ou seja, se partes das evid\u00eancias j\u00e1 apareceram em papers p\u00fablicos que o modelo viu.<\/li>\n<\/ul>\n<p>Se o dataset for liberado depois, muitas dessas perguntas viram verific\u00e1veis. Hoje, n\u00e3o s\u00e3o.<\/p>\n<h2>Como testar isso voc\u00ea mesmo<\/h2>\n<p>O BioBasicsBench em si n\u00e3o est\u00e1 dispon\u00edvel para rodar, ent\u00e3o n\u00e3o d\u00e1 para replicar o placar. Mas d\u00e1 para fazer uma vers\u00e3o artesanal e pequena, \u00fatil para entender o mecanismo:<\/p>\n<ol>\n<li>Pegue uma imagem p\u00fablica de um gel de eletroforese (h\u00e1 bancos de imagens did\u00e1ticos e papers de acesso aberto com figuras baix\u00e1veis).<\/li>\n<li>Escreva um prompt simples: &#8220;identifique as bandas vis\u00edveis, estime o peso molecular de cada uma usando a escada da esquerda, e indique se h\u00e1 evid\u00eancia suficiente para concluir X&#8221;. X depende da imagem.<\/li>\n<li>Escreva sua pr\u00f3pria rubrica, com crit\u00e9rios separados: (a) identificou o n\u00famero correto de bandas, (b) estimou o peso dentro de uma margem razo\u00e1vel, (c) reconheceu quando a imagem est\u00e1 saturada ou amb\u00edgua, (d) n\u00e3o inventou banda que n\u00e3o existe.<\/li>\n<li>Rode em dois ou tr\u00eas modelos diferentes e anote o cr\u00e9dito parcial em cada crit\u00e9rio. Voc\u00ea vai ver rapidamente que o modo como voc\u00ea escreve a rubrica muda o ranking.<\/li>\n<\/ol>\n<p>Esse exerc\u00edcio n\u00e3o gera um benchmark public\u00e1vel, mas ensina na pele por que avaliar agente em tarefa aberta \u00e9 mais sobre desenhar a rubrica do que sobre rodar o modelo. \u00c9 exatamente a parte que o BioBasicsBench terceiriza para cientistas de wet-lab com tr\u00eas camadas de revis\u00e3o, e \u00e9 por isso que s\u00e3o s\u00f3 100 tarefas.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Entenda como funciona o BioBasicsBench, o benchmark de 100 tarefas da OpenAI e Ligo que mede agentes de IA interpretando dados reais de wet-lab.<\/p>\n","protected":false},"author":2,"featured_media":824,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-825","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/825","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/comments?post=825"}],"version-history":[{"count":0,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/825\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media\/824"}],"wp:attachment":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media?parent=825"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/categories?post=825"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/tags?post=825"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}