A ideia de que a inteligência artificial veio só para otimizar o trabalho humano pode começar a ruir no momento em que as máquinas deixam de apenas sugerir caminhos e passam a tomar suas próprias decisões. Foi isso que aconteceu recentemente na Amazon Web Services (AWS), que teria sofrido pelo menos duas interrupções internas executadas por agentes de IA.
Em um dos casos, em dezembro, um sistema da AWS usado por clientes para analisar custos ficou fora do ar por cerca de 13 horas. Segundo reportagem do Financial Times, o agente Kiro, projetado para automatizar fluxos de trabalho, teria concluído que a melhor maneira de resolver um problema seria simplesmente apagar e recriar todo o ambiente. A ferramenta não sugeriu a ação a um engenheiro, ela mesma executou.
Segundo funcionários ouvidos pelo FT, este já foi o segundo episódio recente em que ferramentas de IA da AWS estiveram no centro de interrupções de serviço. Em ambos, engenheiros permitiram que o agente resolvesse o problema sem intervenção humana, algo que normalmente exigiria validação de mais de uma pessoa. Um funcionário sênior descreveu as falhas como pequenas, mas totalmente previsíveis.
Em nota, a Amazon argumenta que os erros foram humanos, e não da IA, justificando que qualquer ferramenta de desenvolvimento poderia ter causado o mesmo impacto. Por padrão, a Kiro “solicita autorização antes de realizar qualquer ação”, disse a Amazon. No entanto, o engenheiro envolvido no incidente de dezembro tinha “permissões mais amplas do que o esperado”, o que segundo a companhia é um problema de controle de acesso de usuário, e não de autonomia da IA.
Um dos problemas tem sido na pressa para adotar a IA como parte da rotina da empresa, mesmo em funções mais sensíveis. Funcionários da Amazon disseram à reportagem do FT que ainda são céticos em relação à utilidade das ferramentas de IA para a maior parte do seu trabalho, devido ao risco de erros. No entanto, existe uma cobrança para o uso desses agentes.
A Amazon estabeleceu uma meta interna para que 80% de seus desenvolvedores utilizem ferramentas de IA para programar ao menos uma vez por semana, e acompanha essa adoção de perto. Antes do Kiro, a empresa já usava o Amazon Q Developer, um chatbot para auxiliar engenheiros na escrita de código, que também teria participado de um dos episódios de interrupção.
Continua depois da publicidade
Depois desses episódios, a Amazon informou que implementou diversas salvaguardas, incluindo revisão obrigatória por pares e treinamento de funcionários. A companhia também reforçou que o evento de dezembro teve impacto limitado, restrito a partes da China continental, e que o segundo incidente não afetou diretamente serviços voltados ao cliente.
Em todo caso, fica o alerta para empresas que estão treinando suas equipes para confiar em agentes que não compreendem noções mais subjetivas, como os impactos das decisões no negócio. Pelo menos por enquanto, a supervisão humana, especialmente em tomadas de decisões, continua sendo fundamental para evitar erros.
Conteúdo produzido por Startups.
Fonte: Info Money
