Siga ZDNET: Adicione-nos como fonte preferencial no Google.
Principais conclusões da ZDNET
- Encontre um equilíbrio entre a restrição e a independência do agente de IA.
- O contexto e a intenção devem estar integrados no desenvolvimento do agente.
- Considere as configurações e os dados que os agentes acessam.
Os agentes de IA estão evoluindo de simples chatbots para trabalhadores digitais completos, autorizados a agir em aplicações e dados. E com essas capacidades surge uma série de preocupações de segurança e governação.
Trate seus agentes de IA como estagiários ávidos, mas equivocados, que exigem a mesma supervisão e orientação que os estagiários humanos, sugeriram especialistas em um painel realizado no recente Snowflake Summit, em São Francisco. Os agentes de IA requerem instruções específicas e monitoramento cuidadoso por parte de gerentes humanos.
Além disso: como construir melhores agentes de IA para o seu negócio – sem criar problemas de confiança
Um agente sem restrições pode ser extremamente problemático, concordaram os painelistas, que representam fornecedores de segurança de IA. “Você pode dizer ao agente para comprar sapatos e, antes que você perceba, ele comprou um carro para você”, disse Mayank Agarwal, fundador e CTO da Resolve AI.
Restrição, contexto e intenção
“Você tem que pensar muito sobre quais permissões você está dando ao agente. Você não pode simplesmente esperar que um agente permaneça no caminho certo. Você tem que colocar essas restrições rígidas em torno dele para limitar o que ele é capaz de fazer.”
Juntamente com a contenção, o contexto e a intenção são as palavras-chave para criar e gerenciar agentes. “Não basta apenas saber para que esse agente foi criado. Você também precisa saber coisas como sob a autoridade de quem ele está agindo e o que fará, por exemplo, com os dados que está acessando”, disse Nancy Wang, diretora de tecnologia da 1Password.
Além disso: o que você pagará pelos agentes de IA será extremamente variável e imprevisível
Os profissionais deveriam jogar fora o antigo livro de regras de desenvolvimento de software program, já que construir e implantar agentes hoje é muito diferente das práticas de software program do passado recente, apontou Agarwal.
“Se você voltar apenas dois anos, um engenheiro sabia exatamente como iria conectar APIs em diferentes sistemas”, disse ele. “A coisa toda period muito previsível: A vai chamar a API B, B vai fazer isso com esses dados, e chamar C, e fazer isso com esses dados.
Essa abordagem pode levar a novos tipos de questões para as quais profissionais e gestores não estão preparados. O agente está “conversando com ferramentas capazes de fazer coisas em seu nome, então você não sabe se essas ferramentas estão exfiltrando dados”, disse Agarwal. “O agente pode ler uma ferramenta e usar outra ferramenta para gravá-la em algum lugar onde não deveria estar.”
O espectro da IA das sombras
Esta preocupação levanta o espectro da IA sombria, operando fora de vista. “Tínhamos um cliente que tinha 12 instâncias do OpenClaw em sua estrutura, com acesso a feeds de API, código-fonte e um fornecedor que usava o Telegram para se comunicar”, disse Jason Merrick, vice-presidente sênior de produtos da Tenable. “O que poderia dar errado, certo?”
Também: Agentes de IA do caos? Nova pesquisa mostra como bots conversando com bots podem ir para o lado rapidamente
Como resultado destas questões, compreender o que os agentes fazem nos bastidores pode ser um desafio. Surgirão questões como “Quem realmente tomou uma ação contra este sistema? É um ser humano? É uma conta de serviço? Ou é um agente?” Wang disse. “Sua equipe provavelmente não sabe ou não há 100% de certeza nessa resposta. Porque hoje os agentes parecem humanos, mas também podem parecer uma conta de serviço, porque têm todas as suas permissões.”
Por conseguinte, é necessário encontrar um equilíbrio entre governação e acesso, uma vez que a IA é uma ferramenta poderosa para a produtividade e a inovação que deve ser capaz de agir de forma independente. “Você não quer apenas bloquear tudo ou proteger tudo”, aconselhou Wang.
Essa necessidade de equilíbrio também explica porque é que a supervisão humana profunda é essencial. “Observe as peças de usuário que os funcionários estão criando – por meio do Copilot, Claude Chat ou Gemini”, aconselhou Merrick. “Observe as configurações deles. A IA está mal configurada? Que tipo de dados ela está acessando? E seja capaz de agir sobre isso. Além disso, observe os próprios prompts. Com o que os prompts estão se comunicando?”
Resumindo: instruções específicas
Esta área é onde as proteções e as melhores práticas de identidade tradicional são cruciais, disse Wang. O maior risco virá “de um agente com permissões excessivas e credenciais de longa information”.
Também: Um novato pode realmente codificar um aplicativo? Eu tentei Cursor e Replit para descobrir
O desafio é conceber a segurança e a governação em torno de “seres não deterministas”, continuou Wang. “É uma questão de permitir que eles sejam criativos, mas também de aplicar conjuntos de instruções essencialmente tradicionais na forma de SDKs. Você quer controles previsíveis, mas também não quer restringi-los tanto a ponto de não gerar mais ganhos de produtividade.”
O ponto principal a ser observado pelos profissionais é que os agentes, assim como os estagiários, precisam de “instruções muito, muito específicas”, disse Wang. “Às vezes, eles ainda se desviam do caminho desejado. Quer você pense em governar agentes ou em rastreamentos completos de agentes, tudo se resume a complete visibilidade, remediação e garantia de que você definiu a intenção correta desde o início – e essa intenção deve persistir em cada etapa, em cada ação que o agente executa.”
