Em 6 de novembro de 2026, a OpenAI publicou um benchmark chamado BioBasicsBench, desenvolvido em parceria com a Ligo, uma empresa de biotecnologia focada em design de enzimas. O objetivo declarado é medir o quanto agentes de IA conseguem interpretar dados brutos de experimentos rotineiros de laboratório úmido (wet-lab), aquele trabalho de bancada com gel, placa de colônia, microscopia e sequenciamento. São 100 tarefas, construídas a partir de experimentos reais.
Este artigo não é sobre o placar. É sobre entender como o benchmark está construído, o que ele de fato mede, e onde ele não consegue responder à pergunta que parece responder.
Como o benchmark está construído
Antes de qualquer coisa, uma ressalva: a OpenAI publicou um resumo público do BioBasicsBench, mas o dataset em si não está aberto para rodar modelos externos. Então o que descrevo abaixo vem do que a OpenAI e a imprensa técnica relataram, não de inspeção direta dos prompts.
As cinco áreas de tarefa
BioBasicsBench tem 100 tarefas distribuídas em cinco áreas de trabalho rotineiro de wet-lab: métodos de proteína, imageamento e citometria, quantificação e ensaios, métodos de ácido nucleico e clonagem molecular. A dificuldade varia de pedidos simples, como ler o peso molecular de uma amostra de DNA em um gel, até análises de ensaio detalhadas, mas todas envolvem trabalho de rotina que cientistas de bancada deveriam conseguir completar de forma confiável.
O que o agente recebe e o que ele devolve
A entrada é evidência experimental bruta. Pense em imagens de gel, fotos de placas de colônia, microscopia, arquivos de sequenciamento, exportações de instrumento. A saída não é uma única resposta de múltipla escolha. Os agentes devolvem conclusões estruturadas, medições ou recomendações, e as rubricas dão crédito por elementos incluindo resultados numéricos, raciocínio de apoio e reconhecimento de que a evidência é insuficiente.
Esse último ponto é o mais interessante do design. O benchmark não premia só “acertar o número”. Ele premia o agente que diz “com esta evidência, não dá para concluir”. O benchmark se propõe a testar se agentes conseguem interpretar dados brutos de laboratório, identificar erros e reconhecer quando a evidência não suporta uma conclusão.
Como as respostas são pontuadas
Em vez de certo/errado binário, o BioBasicsBench usa rubricas com crédito parcial. Cada tarefa tem uma rubrica escrita pelo cientista que a criou, com critérios individuais que podem ser cumpridos em partes. A OpenAI diz que os cientistas escreveram as tarefas a partir de seus próprios experimentos, cada uma com uma rubrica de correção escrita por especialista, e que cada tarefa foi revisada internamente por um cientista da Ligo que não a havia escrito, externamente por um cientista de nível PhD trabalhando em um wet-lab, e em uma revisão interna final. Respostas ganham crédito parcial contra critérios individuais da rubrica.
A métrica que a OpenAI reporta é o mean reward, ou recompensa média. É o escore médio por tarefa como porcentagem do crédito disponível, e as barras de erro são intervalos de confiança de 95% calculados reamostrando tarefas inteiras.
Uma analogia para entender o mean reward: imagine uma prova discursiva de biologia onde cada questão vale 10 pontos e o professor divide esses 10 pontos em subitens (identificou a banda certa, calculou o peso certo, notou o controle faltando, concluiu corretamente). O aluno pode tirar 6 em uma questão porque acertou três subitens de cinco. A nota final da prova é a média percentual desses pontos parciais. É isso, e não “quantas questões ele acertou inteiras”. A analogia quebra num ponto: aqui quem corrige não é um professor humano para cada submissão, é uma rubrica pré-definida aplicada automaticamente, o que exige que a rubrica esteja escrita de forma objetiva o suficiente para ser aplicada sem ambiguidade.
A revisão em três camadas
Cada tarefa passou por um processo de três etapas antes de entrar no benchmark. Cada tarefa recebeu uma revisão interna por um cientista da Ligo que não a havia escrito, uma revisão externa por um cientista PhD de wet-lab, e uma revisão interna final cobrindo o prompt, a evidência, a rubrica, as notas do autor e uma tentativa de modelo graduada. Isso explica por que são só 100 tarefas: cada uma custa muito trabalho humano qualificado.
O que isso significa na prática
Nos resultados que a OpenAI publicou, GPT-6 Astra ganhou em média 66,7% do crédito disponível no BioBasicsBench, no modo de raciocínio mais alto reportado. Para contexto, na configuração ‘xhigh’, a mais alta reportada para os sete modelos, o post lista mean reward de 66,7% para GPT-6 Astra, 62,0% para GPT-6.1 Sol, 43,8% para GPT-5.6 Sol, 38,3% para GPT-6 Luna, 35,4% para GPT-5.5.
O número que importa entender aqui não é o 66,7%. É o que ele não significa. Uma recompensa média de 66,7% não diz que o modelo resolveu exatamente 66,7 das 100 tarefas. Significa que, somando crédito parcial em todas as tarefas e tirando a média, o agente ficou com dois terços dos pontos possíveis. Pode ter acertado muita coisa pela metade, pode ter acertado metade das tarefas inteiramente, pode ser qualquer combinação entre esses extremos.
Isso me lembra do meu próprio trabalho construindo um servidor MCP publicado no npm: quando você projeta a interface pela qual a ferramenta vai ser avaliada (seja por outro agente, seja por um usuário humano), a estrutura do que você aceita como “resposta parcial” determina tudo sobre como alguém mede sucesso. O BioBasicsBench escolheu rubrica multi-critério porque wet-lab não tem resposta única. Essa escolha de design propaga para o que o placar quer dizer.
Um exemplo concreto de tarefa
Entre as tarefas descritas publicamente, uma envolve contagem de colônias em uma placa de ágar. O agente recebe a imagem da placa e precisa contar as colônias. Em uma tarefa de contagem de colônias, a OpenAI relata que Astra falhou em separar vizinhos próximos, perdeu colônias visíveis e marcou ágar vazio, produzindo um sobre-contagem de aproximadamente 12% em relação à referência do benchmark.
Outra tarefa descrita envolve interpretação de microscopia. Astra generalizou que vacúolos, compartimentos dentro de células, são geralmente mais escuros que o material celular ao redor, apesar de haver vacúolos mais claros na mesma imagem. Mudar a profundidade focal pode inverter o contraste, e as próprias observações intermediárias de Astra notaram que o contraste variava com o foco. O modelo tinha a observação correta no próprio trace, mas aplicou uma regra geral por cima dela.
Onde o benchmark quebra
Três limitações são importantes para quem quer usar esse resultado para tomar decisão.
Primeiro, você não pode reproduzir. Labs externos ainda não podem rodar seus próprios modelos no BioBasicsBench, reproduzir os placares da OpenAI, ou testar se as rubricas premiam as coisas certas. Isso significa que o número que você vê é o número que a OpenAI reporta, avaliando modelos da própria OpenAI, usando rubricas que a OpenAI (com a Ligo) escreveu. Não é má fé, é apenas o estado atual da publicação.
Segundo, não há baseline humano publicado. A OpenAI reporta resultados apenas para seus próprios modelos e nenhum baseline humano. Então “66,7% de crédito” não está calibrado contra “quanto um cientista de wet-lab tira nessa mesma prova”. Pode ser que um PhD tire 95%. Pode ser que tire 75%. Sem esse dado, dá para comparar modelos entre si, mas não dá para dizer “a IA está no nível de um humano júnior” ou qualquer afirmação parecida.
Terceiro, a própria OpenAI avisa que o número alto não quer dizer capacidade clínica confiável. A OpenAI alerta que escores mais altos ainda não significam julgamento laboratorial confiável. Os erros descritos (contagem de colônia errada por 12%, generalização equivocada sobre vacúolos) são exatamente o tipo de erro que, em um pipeline de produção, pode custar uma rodada experimental inteira ou induzir uma conclusão falsa que vira hipótese para o experimento seguinte.
O que não dá para afirmar a partir deste material
Esta seção é curta e deliberada. Com o que foi publicado até agora:
- Não dá para dizer se o benchmark cobre bem a variedade de wet-labs do mundo. 100 tarefas construídas por uma única empresa (Ligo, focada em design de enzimas) podem ter viés de domínio. O material público não quantifica isso.
- Não dá para dizer quanto da diferença entre modelos (Astra a 66,7% vs Sol a 43,8%) vem de capacidade multimodal, de raciocínio, de calibração, ou de treino específico. A OpenAI não publicou análise de erro por categoria que permita isolar essas fontes.
- Não dá para prever se o número sobe de forma monotônica com o tamanho do modelo, ou se há regime em que reasoning effort alto piora o resultado (overthinking em tarefas simples). O resumo público não traz essa curva.
- Não dá para avaliar o risco de contaminação de treino, ou seja, se partes das evidências já apareceram em papers públicos que o modelo viu.
Se o dataset for liberado depois, muitas dessas perguntas viram verificáveis. Hoje, não são.
Como testar isso você mesmo
O BioBasicsBench em si não está disponível para rodar, então não dá para replicar o placar. Mas dá para fazer uma versão artesanal e pequena, útil para entender o mecanismo:
- Pegue uma imagem pública de um gel de eletroforese (há bancos de imagens didáticos e papers de acesso aberto com figuras baixáveis).
- Escreva um prompt simples: “identifique as bandas visíveis, estime o peso molecular de cada uma usando a escada da esquerda, e indique se há evidência suficiente para concluir X”. X depende da imagem.
- Escreva sua própria rubrica, com critérios separados: (a) identificou o número correto de bandas, (b) estimou o peso dentro de uma margem razoável, (c) reconheceu quando a imagem está saturada ou ambígua, (d) não inventou banda que não existe.
- Rode em dois ou três modelos diferentes e anote o crédito parcial em cada critério. Você vai ver rapidamente que o modo como você escreve a rubrica muda o ranking.
Esse exercício não gera um benchmark publicável, mas ensina na pele por que avaliar agente em tarefa aberta é mais sobre desenhar a rubrica do que sobre rodar o modelo. É exatamente a parte que o BioBasicsBench terceiriza para cientistas de wet-lab com três camadas de revisão, e é por isso que são só 100 tarefas.





