O fato de que as barreiras de proteção de todos os principais participantes da IA ​​podem ser facilmente contornadas não é novidade. O problema mais não resolvido é o que os líderes de TI corporativos precisam fazer a respeito.

Uma vez que os tomadores de decisão de TI aceitam que as proteções não protegem nada de forma consistente, as suposições que eles fazem sobre os projetos de IA tornam-se, em sua maioria, discutíveis. Outras técnicas para proteger os dados devem ser implementadas.

Os relatos de desvios de guarda-corpos estão se tornando uma legião: a poesia desativa as proteções, assim como o aproveitamento histórico de bate-papo, inserindo caracteres invisíveis e usando formato hexadecimal e emojis. Além desses, paciência e jogar o jogo longoentre outros, pode causar estragos – impactando quase todos os modelos generativos (genAI) e de agente.

Os riscos dificilmente se limitam ao que os invasores podem realizar. Os próprios modelos demonstraram vontade de desconsiderar as suas próprias proteções quando os modelos as veem como um impedimento à realização de um objetivo, como confirmou a Anthropic.

Se tentarmos estender a analogia da estrada que dá nome ao guarda-corpo, “guarda-corpos” não são guarda-corpos no sentido de barreira física de concreto. Eles nem sequer são dissuasores fortes, no sentido de speedbump. Eles são mais parecidos com uma única linha amarela quebrada. É uma sugestão fraca, sem aplicação ou mesmo sério desânimo.

Se me permitem emprestar uma frase do popular videoblogger de mídia social Ryan George em seu filme escritor versus produtor apresenta sérieum invasor que queira contornar as barreiras de proteção atuais achará isso “super fácil, quase inconveniente”. É como se os proprietários protegessem suas casas colocando placas de “Não entre” em todas as portas e depois mantendo as janelas abertas e as portas destrancadas.

E daí deve como será um projeto de IA quando aceitarmos que as proteções não forçarão um modelo ou agente a fazer o que é mandado?

TI tem algumas opções. Primeiro, isole o modelo/agente ou os dados que você deseja proteger.

“Pare de conceder aos sistemas de IA permissões que você não concederia a humanos sem supervisão”, disse Yvette SchmitterCEO da consultoria Fusion Collective. “Implemente os mesmos pontos de auditoria, fluxos de trabalho de aprovação e estruturas de responsabilidade para decisões algorítmicas que você precisa para decisões humanas. Saber que não se pode confiar em proteções significa projetar sistemas onde a falha é visível. Você não permitiria que um funcionário alucinado tomasse 10.000 decisões consequentes por hora sem supervisão. Pare de deixar seus sistemas de IA fazerem exatamente isso.”

Gary LongsineCEO da IllumineX, concordou. Ele argumentou que as mesmas defesas que as empresas usam para bloquear o acesso não autorizado aos dados dos funcionários precisam agora ser implantadas na genAI e nos agentes de IA. “A única coisa real que você pode fazer é proteger tudo o que existe fora do LLM”, disse Longsine.

Levado ao extremo, isso pode significar manter um modelo genAI em um ambiente isolado, alimentando-o apenas com os dados que você deseja que ele acesse. Não são exatamente servidores isolados, mas estão próximos. O modelo não pode ser enganado para revelar dados que não pode acessar.

Capital One brincou com algo semelhante; criou sistemas genAI para concessionárias de automóveis, mas também deu ao modelo de linguagem grande (LLM) que usava acesso a dados públicos. A empresa também promoveu modelos de código aberto e evitou hiperscaladores, o que resolveu outro problema de proteção. Quando os agentes são gerenciados ativamente por uma empresa terceirizada em um ambiente de nuvem, suas regras não precisam necessariamente ser obedecidas. Retomar o controle pode significar literalmente fazer isso.

A Longsine disse que algumas empresas poderiam cooperar para construir o seu próprio centro de dados, mas esse esforço seria ambicioso e dispendioso. (A Longsine estimou o preço em 2 mil milhões de dólares, mas poderia facilmente custar muito mais – e pode até não resolver o problema de forma significativa.)

Digamos que cinco empresas construíram um data center que somente essas cinco poderiam acessar. Quem definiria as regras? E até que ponto qualquer uma dessas empresas confiaria nas outras quatro, especialmente quando a gestão muda? As empresas podem acabar substituindo um hiperescalador por um hiperescalador improvisado muito menor e ainda ter os mesmos problemas de controle.

Aqui está a parte dolorosa: hoje existem muitas provas de conceito de genAI que simplesmente não funcionarão se a administração parar de acreditar em barreiras de proteção. Ao nível do conselho, ao que parece, o Estratégia da Sininho permanece vivo e bem. Eles parecem pensar que as barreiras de proteção funcionarão se todos os investidores apenas bata palmas bem alto.

Considere uma implantação de IA que permita aos funcionários acessar informações de RH. Ele apenas informará a qualquer funcionário ou gerente as informações que eles devem poder acessar. Mas esses aplicativos – e inúmeros outros como eles – adotam uma abordagem de codificação fácil; eles concedem ao modelo acesso a todos dados de RH e contam com proteções para garantir o acesso adequado. Isso não funcionará com IA.

Não estou dizendo que as grades de proteção nunca funcionarão. Pelo contrário, as minhas observações sugerem que sim – cerca de 70% a 80% das vezes. Em algumas implementações melhor projetadas, esse número pode chegar a 90%.

Mas esse é o teto. E quando se trata de proteger o acesso aos dados – especialmente a possível exfiltração para qualquer pessoa que solicite a solicitação certa – 90% não será suficiente. E os líderes de TI que aprovam projetos esperando que isso aconteça terão um 2026 muito desconfortável.