A UniPat AI apresentou um benchmark chamado Science Prediction Universe, ou SPU. Esta ferramenta destina-se a testar a capacidade dos agentes de inteligência artificial de prever os resultados de pesquisas laboratoriais reais antes mesmo de obter dados factuais.
De acordo com os dados da empresa, entre as treze configurações de agentes testadas, a média foi inferior a 0,5 em uma escala onde a previsão ideal é avaliada como 1 ponto e o palpite aleatório como 0.
O SPU inclui 116 tarefas, abrangendo 4207 experimentos realizados nas áreas de química, ciência dos materiais, biologia e medicina. Cem tarefas disponíveis publicamente foram criadas com base em 85 trabalhos científicos publicados em 11 periódicos do portfólio Nature entre janeiro de 2025 e agosto de 2026. Um total de 16 tarefas privadas adicionais baseia-se em experimentos não publicados, realizados em colaboração com laboratórios parceiros, relacionados a anticorpos nano VHH, condições de reação, eletrólitos e variantes do anticorpo Magrolimab; estas tarefas privadas não são publicadas.
Cada tarefa registra os candidatos, os materiais utilizados, as condições de realização e o método de medição de um experimento real. O agente recebe oito horas de trabalho em um contêiner equipado com 8 processadores centrais, 16 GB de memória RAM e uma placa de vídeo NVIDIA H20 GPU. Ele tem a capacidade de pesquisar informações na internet e instalar software científico, devendo então classificar os candidatos de acordo com o resultado medido. Um contêiner offline separado avalia este ranking usando a correlação de Spearman, e os dados de saída das ferramentas são verificados quanto à presença de identificadores de artigos originais para restringir a busca por respostas.
A primeira rodada de testes incluiu 12 modelos avançados em 13 configurações diferentes. A UniPat AI relata que o modelo Claude Opus 5.5 demonstrou a maior pontuação média — 0,486, mas a maioria de suas execuções terminou com falhas por motivos de segurança, sendo, portanto, avaliado em um número menor de tarefas. No geral, apenas 34% a 52% das tarefas conseguiram exceder o limiar de probabilidade definido. A empresa agrupou seis configurações em um nível líder, que apresenta resultados aproximadamente 0,15 superiores aos demais, ao realizar as mesmas tarefas.
A análise indica que o gargalo é o julgamento, e não o uso de ferramentas. No âmbito da pesquisa, os agentes demonstraram um grau de concordância mais alto entre si (0,52) do que com os dados experimentais reais (0,33). Entre outros resultados, observa-se que consultores para o projeto foram recrutados de instituições como Stanford, Cornell, Harvard, Universidade de Pequim, HKUST e FutureHouse, juntamente com parceiros de laboratório. Cem tarefas públicas estão disponíveis no Hugging Face como Harbor tasks sob a licença CC BY 4.0, e o código correspondente está hospedado no GitHub sob a licença Apache 2.0.


