O Openai, o criador do ChatGPT, reconheceu em sua própria pesquisa que grandes modelos de idiomas sempre produzirão alucinações devido a restrições matemáticas fundamentais que não podem ser resolvidas por meio de uma melhor engenharia, marcando uma admissão significativa de uma das principais empresas da indústria de IA.

O estudo, publicado em 4 de setembro e liderado pelos pesquisadores do Openai, Adam Tauman Kalai, Edwin Zhang e Ofir Nachum, ao lado de Santosh S. Vempala, da Georgia Tech, forneceu uma estrutura matemática abrangente que explica por que os sistemas de IA devem gerar informações plausíveis, mas falsas, mesmo quando treinadas sobre dados perfeitos.

“Como os alunos enfrentam perguntas difíceis do exame, grandes modelos de idiomas às vezes adivinham quando incertos, produzindo declarações plausíveis, porém incorretas, em vez de admitir incerteza”, o Os pesquisadores escreveram no artigo. “Tais” alucinações “persistem mesmo em sistemas de ponta e prejudicam a confiança”.