Existe uma lacuna clara entre o conhecimento médico teórico dos grandes modelos de linguagem (LLMs) e a sua utilidade prática para os pacientes, de acordo com um estudo novo estudo do Oxford Internet Institute e do Departamento Nuffield de Ciências da Saúde de Atenção Primária da Universidade de Oxford. A pesquisa, realizada em colaboração com a MLCommons e outras instituições, envolveu 1.298 pessoas no Reino Unido.

No estudo, pediu-se a um grupo que utilizasse LLMs como GPT-4o, Llama 3 e Command R para avaliar sintomas de saúde e sugerir cursos de acção, enquanto um grupo de controlo confiou nos seus métodos habituais, tais como motores de busca ou no seu próprio conhecimento.

Os resultados mostraram que o grupo que utilizou ferramentas de IA generativa (genAI) não teve melhor desempenho do que o grupo de controle na avaliação da urgência de uma condição. Eles também foram piores na identificação da condição médica correta, de acordo com o Registro.