Os copilotos de IA são incrivelmente inteligentes e úteis – mas também podem ser ingênuos, crédulos e às vezes até burros.

Um novo fluxo de ataque com um clique descoberto pelos pesquisadores do Varonis Threat Labs ressalta esse fato. ‘Reprompt’, como o apelidaram, é uma cadeia de ataque de três etapas que contorna completamente os controles de segurança após um ataque inicial. Solicitação de LLMdando aos invasores acesso invisível, indetectável e ilimitado.

“Os assistentes de IA tornaram-se companheiros de confiança onde compartilhamos informações confidenciais, buscamos orientação e confiamos neles sem hesitação”, pesquisador de segurança do Varonis Threat Labs Dolev Taler escreveu em um postagem no blog. “Mas… a confiança pode ser facilmente explorada, e um assistente de IA pode se transformar em uma arma de exfiltração de dados com um único clique.”

É importante observar que, a partir de agora, o Reprompt só foi descoberto no Microsoft Copilot Personal, não no Microsoft 365 Copilot – mas isso não quer dizer que não possa ser usado contra empresas, dependendo de suas políticas de copilot e da conscientização do usuário. A Microsoft já lançou um patch após tomar conhecimento da falha.

Como o Reprompt funciona silenciosamente em segundo plano

O Reprompt emprega três técnicas para criar uma cadeia de exfiltração de dados: parâmetro inicial para prompt (injeção P2P), solicitação dupla e solicitação em cadeia.

O P2P incorpora um prompt diretamente em uma URL, explorando a funcionalidade de parâmetro de URL ‘q’ padrão do Copilot, que visa agilizar e melhorar a experiência do usuário. O URL pode incluir perguntas ou instruções específicas que preenchem automaticamente o campo de entrada quando as páginas são carregadas.

Usando essa brecha, os invasores empregam a solicitação dupla, o que lhes permite contornar as salvaguardas; O Copilot verifica apenas conteúdo malicioso na variável Q para o primeiro prompt, não para solicitações subsequentes.

Por exemplo, os pesquisadores pediram ao Copilot para buscar uma URL contendo a frase secreta “HELLOWORLD1234!”, ​​repetindo a solicitação duas vezes. O Copilot removeu a frase secreta do primeiro URL, mas a segunda tentativa “funcionou perfeitamente”, observou Taler.

A partir daqui, os invasores podem iniciar uma solicitação em cadeia, na qual o servidor do invasor emite instruções de acompanhamento para iniciar uma conversa contínua. Isso engana o Copilot para que ele exfiltre históricos de conversas e dados confidenciais. Os atores da ameaça podem fornecer uma série de solicitações como “Resuma todos os arquivos que o usuário acessou hoje”, “Onde o usuário mora?” ou “Que férias ele planejou?”

Este método “torna o roubo de dados furtivo e escalonável” e não há limite para o que ou quanto os invasores podem exfiltrar, observou Taler. “O Copilot vaza os dados aos poucos, permitindo que a ameaça use cada resposta para gerar a próxima instrução maliciosa.”

O perigo é que o novo prompt não requer plug-ins, conectores habilitados ou interação do usuário com o Copilot além do clique inicial em um link legítimo do Microsoft Copilot em uma mensagem de phishing. O invasor pode permanecer no Copilot o tempo que quiser, mesmo depois que o usuário fechar o chat.

Todos os comandos são entregues através do servidor após o prompt inicial, por isso é quase impossível determinar o que está sendo extraído apenas inspecionando esse prompt. “As instruções reais estão ocultas nas solicitações de acompanhamento do servidor”, observou Taler, “e não em nada óbvio no prompt enviado pelo usuário”.

O que os desenvolvedores e as equipes de segurança devem fazer agora

Como na prática usual de segurança, os usuários corporativos devem sempre tratar URLs e entradas externas como não confiáveis, aconselham os especialistas. Seja cauteloso com links, fique atento a comportamentos incomuns e sempre faça uma pausa para revisar os prompts pré-preenchidos.

“Este ataque, como muitos outros, origina-se de um e-mail ou mensagem de texto de phishing, portanto, todas as melhores práticas usuais contra phishing se aplicam, incluindo ‘não clique em links suspeitos’”, observou. Henrique Teixeiravice-presidente sênior de estratégia da Saviynt.

A autenticação resistente ao phishing deve ser implementada, não apenas durante o uso inicial de um chatbot, mas durante toda a sessão, enfatizou. Isso exigiria que os desenvolvedores implementassem controles ao criar aplicativos pela primeira vez e incorporar copilotos e chatbots, em vez de adicionar controles posteriormente.

Os usuários finais devem evitar o uso de chatbots que não sejam autenticados e evitar comportamentos de risco, como agir com senso de urgência (como ser incentivado a concluir rapidamente uma transação), responder a remetentes desconhecidos ou potencialmente nefastos ou compartilhar informações pessoais em excesso, observou ele.

“Por último e muito importante é não culpar a vítima nestes casos”, disse Teixeira. Os proprietários de aplicativos e provedores de serviços que usam IA devem criar aplicativos que não permitam o envio de prompts sem autenticação e autorização, ou com comandos maliciosos incorporados em URLs. “Os provedores de serviços podem incluir higiene mais imediata e controles básicos de segurança de identidade, como autenticação contínua e adaptativa, para tornar os aplicativos mais seguros para funcionários e clientes”, disse ele.

Além disso, o design considera o risco de nível interno, diz Taler da Varonis. “Suponha que os assistentes de IA operem com contexto e acesso confiáveis. Aplique privilégios mínimos, auditoria e detecção de anomalias de acordo.”

Em última análise, isto representa mais um exemplo de empresas que lançam novas tecnologias com a segurança como uma reflexão tardia, observam outros especialistas.

“Ver esta história se desenrolar é como assistir Wile E. Coyote and the Road Runner”, disse David Shipley da Beauceron Segurança. “Depois de conhecer a piada, você sabe o que vai acontecer. O coiote vai confiar em algum produto Acme ridiculamente defeituoso e usá-lo de uma forma realmente estúpida.”

Neste caso, esse «produto» é Tecnologias baseadas em LLM que simplesmente têm permissão para realizar quaisquer ações sem restrições. O mais assustador é que não há como protegê-lo porque os LLMs são o que Shipley descreveu como “idiotas da alta velocidade”.

“Eles não conseguem distinguir entre conteúdo e instruções e farão cegamente o que lhes for mandado”, disse ele.

Os LLMs deveriam ser limitados a chats em um navegador, afirmou. Dar-lhes acesso a qualquer coisa além disso é um “desastre prestes a acontecer”, especialmente se eles vão interagir com conteúdo que pode ser enviado por e-mail, mensagem ou site.

Usar técnicas como aplicação de privilégio de acesso mínimo e confiança zero para tentar contornar a insegurança fundamental dos agentes LLM “parece brilhante até o tiro sair pela culatra”, disse Shipley. “Tudo isso seria engraçado se não fizesse com que as organizações fossem dominadas.”