Uma falha na governação da IA ​​na Deloitte Austrália forçou o gigante da consultoria a reembolsar parte de um contrato governamental de AU$440.000 (US$290.000) depois de as fabricações geradas pela IA terem sido incluídas num relatório final, expondo vulnerabilidades que os analistas dizem ser sintomáticas de desafios mais amplos à medida que as empresas aumentam rapidamente a adopção da IA.

A Deloitte usou o OpenAI GPT-4o para ajudar a produzir uma revisão independente de 237 páginas para o Departamento de Emprego e Relações no Local de Trabalho (DEWR) da Austrália, mas não conseguiu detectar citações acadêmicas fabricadas e referências judiciais inexistentes antes da entrega. A empresa também não divulgou seu uso de IA até que erros fossem descobertos.

O governo australiano disse à ComputerWorld que a Deloitte “confirmou que algumas notas de rodapé e referências estavam incorretas” e concordou em reembolsar a parcela final do seu contrato. O Secretário forneceu uma atualização, observando que uma versão correta da declaração de fiabilidade e do relatório final foi divulgada.

“O valor do reembolso será divulgado quando o edital de contrato for atualizado no AusTender”, disse um porta-voz do DEWR.

“É sintomático de desafios mais amplos à medida que as empresas ampliam a IA sem uma governança madura”, disse Charlie Dai, vice-presidente e analista principal da Forrester. “A rápida adoção muitas vezes ultrapassa os controles e torna prováveis ​​incidentes semelhantes em domínios regulamentados e de alto risco.”

Apesar dos erros, “a substância da revisão independente é mantida e não há alterações nas recomendações”, acrescentou o porta-voz do DEWR.

Detecção por meio de conhecimento de domínio

Dr. Christopher Rudge, pesquisador da Universidade de Sydney especializado em direito de saúde e bem-estar, descobriu as invenções ao revisar o relatório. Ele reconheceu os autores citados como colegas que nunca haviam escrito as obras atribuídas.

“Uma das maneiras mais fáceis de saber era que eu conhecia os autores pessoalmente e, portanto, sabia que eles não haviam escrito os livros aos quais foram atribuídos”, disse Rudge à Computerworld. “As obras eram quase perfeitamente adaptadas e personalizadas para o texto, e isso foi um sinal de alerta.”

Sam Higgins, vice-presidente e analista principal da Forrester, disse que o incidente serviu como “um lembrete oportuno de que a adoção empresarial da IA ​​generativa está ultrapassando a maturidade das estruturas de governança projetadas para gerenciar seus riscos”.

“A presença de citações fabricadas e citações jurídicas incorretas levanta sérias questões sobre diligência, transparência e responsabilidade no trabalho prestado por consultores”, disse Higgins.

Responsabilidade compartilhada pelo controle de qualidade

O fornecedor e o cliente compartilham a responsabilidade, argumenta Sanchit Vir Gogia, analista-chefe e CEO da Greyhound Research. “Os clientes não podem ficar surpresos quando ferramentas que eles próprios usam internamente aparecem no fluxo de trabalho de um fornecedor”, disse ele. “Por que essa verificação não foi feita antes de o relatório se tornar público? A responsabilização funciona nos dois sentidos.”

O relatório revisadopublicado na sexta-feira passada, incluía uma divulgação ausente do original, reconhecendo que a Deloitte usou a ferramenta de IA para resolver “lacunas de rastreabilidade e documentação”.

A divulgação muitas vezes demora porque as empresas enquadram o uso da IA ​​como “ferramentas internas” em vez de material para os resultados, criando lacunas de transparência e confiança, disse Dai.

Higgins disse que a divulgação post-hoc minou a orientação do próprio governo australiano que exige transparência quando a IA é usada na tomada de decisões. “A divulgação post-hoc da Deloitte estabelece um precedente fraco para o uso responsável de IA em compromissos governamentais”, disse ele.

O incidente ocorreu como Deloitte anunciou uma grande parceria para implantar a IA Claude da Anthropic para seus quase 500.000 funcionários em todo o mundo.

A Deloitte não respondeu imediatamente a um pedido de comentário.

Modernizando contratos de fornecedores

As falhas de divulgação e as falhas no controlo de qualidade no caso da Deloitte apontam para lacunas fundamentais na forma como as organizações contratam fornecedores que utilizam ferramentas de IA.

Rudge argumentou que as organizações que implementam ferramentas de IA podem precisar de institucionalizar a revisão especializada no assunto como uma porta de qualidade final obrigatória, mesmo que a IA prometa poupanças significativas de custos e tempo.

“No final de qualquer projecto assistido por IA, ou de qualquer projecto significativo em que a IA tenha sido predominantemente a ferramenta de produção de conhecimento, as empresas ou organizações poderão ainda precisar de empregar um revisor humano que seja um especialista na área para verificar os documentos”, disse ele.

Rydge sugeriu que a economia ainda poderia favorecer a adoção da IA, mesmo com a revisão de especialistas incorporada. “Talvez as coisas sejam tão mais baratas de produzir no mundo do conhecimento que o custo de um especialista no assunto que revise o artigo, relatório ou produto será apenas entendido como um pequeno custo”, disse Rudge. “Mas a verificação por profissionais ainda deve continuar a ser o padrão ouro.”

Gogia disse que a maioria dos acordos atuais ainda assumem autoria apenas humana, embora a automação agora sustente grande parte do trabalho. “Quando algo dá errado, ambos os lados lutam para decidir quem carrega a culpa – o consultor, o modelo ou o cliente revisor que assinou”, disse ele.

“Os líderes tecnológicos devem perguntar explicitamente sobre o envolvimento da IA, as etapas de validação e os processos de tratamento de erros”, disse Dai. “Eles também devem buscar clareza na revisão humana, verificação da fonte e responsabilidade pela precisão dos fatos antes de aceitar os resultados.”

Higgins delineou questões-chave: “Quais ferramentas generativas de IA estão sendo usadas e para quais partes do produto final? Que salvaguardas existem para detectar e corrigir alucinações? Existe um processo humano para validação? Como a proveniência é rastreada?”

Construindo estruturas de governança maduras

Além da gestão de fornecedores, os analistas afirmam que as organizações precisam de estruturas de governação abrangentes que tratem a IA como um risco sistémico que exige políticas formais e supervisão multifuncional.

Dai disse que os CIOs e as equipes de compras devem incluir cláusulas que obriguem a divulgação de IA, padrões de garantia de qualidade, responsabilidade por erros de IA e direitos de auditoria. “Eles também devem buscar o alinhamento com estruturas como NIST AI RMF ou ISO/IEC 42001 para gestão de risco”, disse ele.

Higgins disse que as disposições deveriam exigir divulgação antecipada, exigir revisão humana, definir a responsabilidade por erros de IA e incluir direitos de auditoria.

“Os líderes de TI deveriam tratar a IA como um risco sistêmico, e não apenas como uma ferramenta de produtividade”, disse Dai. “Eles devem implementar a governança de IA do fornecedor, impor a divulgação e integrar um controle de qualidade robusto para evitar consequências de reputação e conformidade.”

Gogia disse ter visto um modelo emergente em que conselhos de revisão conjuntos incluem representantes de clientes e fornecedores, garantindo que o conteúdo produzido por IA seja examinado antes do endosso. “É assim que se parece a maturidade – não a ausência de IA, mas a presença de evidências”, disse ele. “A governação na era da IA ​​recompensará a colaboração e não o confronto.”