Cientistas do Canadá, Singapura e EUA conduziram um estudo no qual testaram quinze diferentes grandes modelos de linguagem. O objetivo da verificação foi determinar a capacidade desses modelos de encontrar falhas metodológicas em publicações científicas relativas a ensaios clínicos.
Os resultados mostraram uma superioridade significativa dos modelos sobre os especialistas humanos. Em média, os grandes modelos de linguagem conseguiram detectar erros metodológicos em uma faixa de 53% a 99%. Enquanto isso, a porcentagem de detecção de tais erros por parte de humanos foi de apenas cerca de 27%.
O resultado mais impressionante foi demonstrado pelo modelo Opus 5.5, que conseguiu identificar erros graves com uma taxa de 99%. Os dados deste estudo científico foram oficialmente publicados no portal de pré-publicações medRxiv.org.