Fazer com que os agentes de IA tenham um desempenho confiável na produção — e não apenas nas demonstrações — está se revelando mais difícil do que as empresas previam. Dados fragmentados, fluxos de trabalho pouco claros e taxas de escalonamento descontroladas estão retardando as implantações em todos os setores.
“A tecnologia em si geralmente funciona bem em demonstrações”, disse Sanchit Vir Gogia, analista-chefe da Greyhound Analysis. “O desafio começa quando se pede para operar dentro da complexidade de uma organização actual.”
Burley Kawasaki, que supervisiona a implantação de agentes na Creatio, e sua equipe desenvolveram uma metodologia construída em torno de três disciplinas: virtualização de dados para contornar atrasos no information lake; painéis de agentes e KPIs como camada de gerenciamento; e ciclos de casos de uso bem delimitados para alcançar alta autonomia.
Em casos de uso mais simples, Kawasaki afirma que essas práticas permitiram que os agentes realizassem de 80 a 90% das tarefas por conta própria. Com ajustes adicionais, ele estima que eles poderiam oferecer suporte à resolução autônoma em pelo menos metade dos casos de uso, mesmo em implantações mais complexas.
“As pessoas têm experimentado muito com provas de conceitos, têm feito muitos testes”, disse Kawasaki ao VentureBeat. “Mas agora, em 2026, estamos começando a nos concentrar em fluxos de trabalho de missão crítica que geram eficiência operacional ou receitas adicionais.”
Por que os agentes continuam falhando na produção
As empresas estão ansiosas para adotar a IA de agência de uma forma ou de outra – muitas vezes porque têm medo de ficar de fora, mesmo antes de identificarem casos de uso tangíveis do mundo actual – mas enfrentam gargalos significativos em torno da arquitetura de dados, integração, monitoramento, segurança e design de fluxo de trabalho.
O primeiro obstáculo quase sempre tem a ver com dados, disse Gogia. As informações empresariais raramente existem de forma organizada ou unificada; ele está espalhado por plataformas SaaS, aplicativos, bancos de dados internos e outros armazenamentos de dados. Alguns são estruturados, outros não.
Mas mesmo quando as empresas superam o problema de recuperação de dados, a integração é um grande desafio. Os agentes dependem de APIs e ganchos de automação para interagir com os aplicativos, mas muitos sistemas empresariais foram projetados muito antes de esse tipo de interação autônoma ser uma realidade, destacou Gogia.
Isso pode resultar em APIs incompletas ou inconsistentes, e os sistemas podem responder de forma imprevisível quando acessados programaticamente. As organizações também enfrentam obstáculos quando tentam automatizar processos que nunca foram formalmente definidos, disse Gogia.
“Muitos fluxos de trabalho de negócios dependem de conhecimento tácito”, disse ele. Ou seja, os funcionários sabem como resolver exceções que já viram antes sem instruções explícitas — mas essas regras e instruções ausentes tornam-se surpreendentemente óbvias quando os fluxos de trabalho são traduzidos em lógica de automação.
O ciclo de sintonia
A Creatio implanta agentes em um “escopo limitado com proteções claras”, seguido por uma fase “explícita” de ajuste e validação, explicou Kawasaki. As equipes analisam os resultados iniciais, ajustam conforme necessário e testam novamente até atingirem um nível aceitável de precisão.
Esse loop normalmente segue este padrão:
-
Ajuste em tempo de design (antes da ativação): O desempenho é aprimorado por meio de engenharia imediata, agrupamento de contexto, definições de funções, design de fluxo de trabalho e base em dados e documentos.
-
Correção humana no circuito (durante a execução): Os desenvolvedores aprovam, editam ou resolvem exceções. Nos casos em que os humanos têm que intervir mais (escalonamento ou aprovação), os usuários estabelecem regras mais rígidas, fornecem mais contexto e atualizam as etapas do fluxo de trabalho; ou restringirão o acesso à ferramenta.
-
Otimização contínua (após a entrada em operação): Os desenvolvedores continuam a monitorar as taxas de exceção e os resultados e, em seguida, ajustam repetidamente conforme necessário, ajudando a melhorar a precisão e a autonomia ao longo do tempo.
A equipe da Kawasaki aplica geração de recuperação aumentada a agentes terrestres em bases de conhecimento empresariais, dados de CRM e outras fontes proprietárias.
Depois que os agentes são implantados, eles são monitorados com um painel que fornece análises de desempenho, insights de conversão e auditabilidade. Essencialmente, os agentes são tratados como trabalhadores digitais. Eles possuem sua própria camada de gerenciamento com dashboards e KPIs.
Por exemplo, um agente de integração será incorporado como uma interface de painel padrão, fornecendo monitoramento e telemetria do agente. Isso faz parte da camada da plataforma – orquestração, governança, segurança, execução de fluxo de trabalho, monitoramento e incorporação de UI – que fica “acima do LLM”, disse Kawasaki.
Os usuários veem um painel de agentes em uso e cada um de seus processos, fluxos de trabalho e resultados executados. Eles podem “detalhar” um registro particular person (como uma indicação ou renovação) que mostra um log de execução passo a passo e comunicações relacionadas para oferecer suporte à rastreabilidade, depuração e ajustes do agente. Os ajustes mais comuns envolvem lógica e incentivos, regras de negócios, contexto imediato e acesso a ferramentas, disse Kawasaki.
Os maiores problemas que surgem após a implantação:
-
O quantity de tratamento de exceções pode ser alto: Os picos iniciais em casos extremos geralmente ocorrem até que as proteções e os fluxos de trabalho sejam ajustados.
-
Qualidade e integridade dos dados: Campos e documentos ausentes ou inconsistentes podem causar escalonamentos; as equipes podem identificar quais dados priorizar para aterramento e quais verificações automatizar.
-
Auditabilidade e confiança: Os clientes regulamentados, em specific, exigem registros claros, aprovações, controle de acesso baseado em funções (RBAC) e trilhas de auditoria.
“Sempre explicamos que é preciso alocar tempo para treinar agentes”, disse a CEO da Creatio, Katherine Kostereva, ao VentureBeat. “Isso não acontece imediatamente quando você liga o agente, é preciso tempo para entender completamente, então o número de erros diminuirá.”
A “prontidão dos dados” nem sempre requer uma revisão
Ao implantar agentes, “Meus dados estão prontos?” é uma pergunta inicial comum. As empresas sabem que o acesso aos dados é importante, mas pode ser desativado por um projeto massivo de consolidação de dados.
Mas as conexões virtuais podem permitir que os agentes acessem sistemas subjacentes e contornem atrasos típicos de information lake/lakehouse/warehouse. A equipe da Kawasaki construiu uma plataforma que se integra aos dados e agora está trabalhando em uma abordagem que irá extrair dados para um objeto digital, processá-los e usá-los como um objeto padrão para UIs e fluxos de trabalho. Dessa forma, eles não precisam “persistir ou duplicar” grandes volumes de dados em seu banco de dados.
Essa técnica pode ser útil em áreas como bancária, onde os volumes de transações são simplesmente grandes demais para serem copiados para o CRM, mas “ainda são valiosos para análises e gatilhos de IA”, disse Kawasaki.
Depois que as integrações e os objetos virtuais são estabelecidos, as equipes podem avaliar a integridade, a consistência e a disponibilidade dos dados e identificar pontos de partida de baixo atrito (como fluxos de trabalho não estruturados ou com muitos documentos).
Kawasaki enfatizou a importância de “realmente usar os dados nos sistemas subjacentes, que tendem a ser realmente os mais limpos ou a fonte da verdade”.
Combinando agentes com o trabalho
A melhor opção para agentes autônomos (ou quase autônomos) são fluxos de trabalho de alto quantity com “estrutura clara e risco controlável”, disse Kawasaki. Por exemplo, recepção e validação de documentos na integração ou preparação de empréstimos, ou divulgação padronizada, como renovações e referências.
“Especialmente quando você pode vinculá-los a processos muito específicos dentro de uma indústria – é aí que você pode realmente medir e entregar um ROI sólido”, disse ele.
Por exemplo, as instituições financeiras são muitas vezes isoladas por natureza. As equipes de empréstimos comerciais atuam em seu próprio ambiente e a gestão de patrimônio em outro. Mas um agente autónomo pode analisar departamentos e armazenamentos de dados separados para identificar, por exemplo, clientes comerciais que possam ser bons candidatos para gestão de património ou serviços de consultoria.
“Você acha que seria uma oportunidade óbvia, mas ninguém está olhando para todos os silos”, disse Kawasaki. Alguns bancos que aplicaram agentes neste mesmo cenário viram “benefícios de milhões de dólares de receitas incrementais”, afirmou, sem nomear instituições específicas.
Contudo, noutros casos — particularmente em indústrias regulamentadas — os agentes com contextos mais longos não são apenas preferíveis, mas também necessários. Por exemplo, em tarefas de várias etapas, como reunir evidências entre sistemas, resumir, comparar, redigir comunicações e produzir justificativas auditáveis.
“O agente não está respondendo imediatamente”, disse Kawasaki. “Pode levar horas, dias, para concluir tarefas completas de ponta a ponta.”
Isso requer uma execução orquestrada de agentes, em vez de um “único immediate gigante”, disse ele. Esta abordagem divide o trabalho em etapas determinísticas a serem executadas por subagentes. O gerenciamento de memória e contexto pode ser mantido em várias etapas e intervalos de tempo. O aterramento com RAG pode ajudar a manter as saídas vinculadas a fontes aprovadas, e os usuários têm a capacidade de ditar a expansão para compartilhamentos de arquivos e outros repositórios de documentos.
Esse modelo normalmente não requer retreinamento personalizado ou um novo modelo básico. Qualquer que seja o modelo utilizado pelas empresas (GPT, Claude, Gemini), o desempenho melhora através de avisos, definições de funções, ferramentas controladas, fluxos de trabalho e fundamentação de dados, disse Kawasaki.
O ciclo de suggestions dá “ênfase further” aos pontos de verificação intermediários, disse ele. Os humanos revisam artefatos intermediários (como resumos, fatos extraídos ou rascunhos de recomendações) e corrigem erros. Eles podem então ser convertidos em regras e fontes de recuperação melhores, escopos de ferramentas mais restritos e modelos aprimorados.
“O que é importante para este estilo de agente autônomo é combinar o melhor dos dois mundos: o raciocínio dinâmico da IA, com o controle e o poder da verdadeira orquestração”, disse Kawasaki.
Em última análise, os agentes exigem mudanças coordenadas na arquitetura empresarial, novas estruturas de orquestração e controles de acesso explícitos, disse Gogia. Os agentes devem receber identidades para restringir seus privilégios e mantê-los dentro dos limites. A observabilidade é crítica; as ferramentas de monitoramento podem registrar taxas de conclusão de tarefas, eventos de escalonamento, interações do sistema e padrões de erro. Este tipo de avaliação deve ser uma prática permanente, e os agentes devem ser testados para ver como reagem ao se depararem com novos cenários e insumos incomuns.
“No momento em que um sistema de IA pode entrar em ação, as empresas terão que responder a várias perguntas que raramente aparecem durante implantações de copiloto”, disse Gogia. Tais como: Quais sistemas o agente tem permissão para acessar? Que tipos de ações ele pode realizar sem aprovação? Quais atividades devem sempre exigir uma decisão humana? Como cada ação será registrada e revisada?
“Aqueles [enterprises] que subestimam o desafio muitas vezes ficam presos em manifestações que parecem impressionantes, mas não conseguem sobreviver à complexidade operacional actual”, disse Gogia.
