Os programas empresariais de IA raramente falham devido a ideias ruins. Mais frequentemente, ficam presos no modo piloto descontrolado e nunca chegam à produção. Num evento recente da VentureBeat, os líderes tecnológicos do MassMutual e do Mass Normal Brigham explicaram como evitaram essa armadilha — e como serão os resultados quando a disciplina substituir a expansão.
Na MassMutual, os resultados são concretos: ganhos de 30% na produtividade do desenvolvedor, tempos de resolução de suporte técnico de TI reduzidos de 11 minutos para um e chamadas de atendimento ao cliente reduzidas de 15 minutos para apenas um ou dois.
“Estamos sempre começando perguntando por que nos preocupamos com esse problema?” Sears Merritt, chefe de tecnologia e experiência empresarial da MassMutual, no evento. “Se resolvermos o problema, como saberemos que o resolvemos? E quanto valor está associado a isso?”
Definir métricas, estabelecer fortes ciclos de suggestions
A MassMutual, uma empresa de 175 anos que atende milhões de proprietários de apólices e clientes, colocou a IA em produção em todos os negócios – suporte ao cliente, TI, aquisição de clientes, subscrição, serviços, sinistros e outras áreas.
Merritt disse que sua equipe segue o método científico, começando com uma hipótese e testando se ela tem um resultado que impulsionará o negócio de forma tangível. Algumas ideias são excelentes, mas podem ser “intratáveis no negócio” devido a fatores como falta de dados ou acesso, ou restrições regulamentares.
“Não avançaremos com uma ideia até que tenhamos clareza absoluta sobre como iremos medir e como definiremos o sucesso.”
Em última análise, cabe aos diferentes departamentos e líderes definir o que significa qualidade: escolher uma métrica e definir o nível mínimo de qualidade antes de uma ferramenta ser colocada nas mãos de equipas e parceiros.
Esse ponto de partida cria um rápido ciclo de suggestions. “As coisas que descobrimos que nos atrasam é quando não há clareza partilhada sobre o resultado que estamos a tentar alcançar”, o que pode levar à confusão e ao reajustamento constante, disse Merritt. “Não vamos para a produção até que haja um parceiro de negócios que diga: ‘Sim, isso funciona’”.
Sua equipe é estratégica na avaliação de ferramentas emergentes e “extremamente rigorosa” ao testar e medir o que significa “bom”. Por exemplo, eles realizam pontuação de confiança para reduzir as taxas de alucinação, estabelecem limites e critérios de avaliação e monitoram desvios de recursos e resultados.
A Merritt também opera com uma política de não compromisso – o que significa que a empresa não se limita a usar um modelo específico. Possui o que ele chama de ambiente tecnológico “incrivelmente heterogêneo”, combinando os melhores modelos com mainframes rodando em COBOL. Essa flexibilidade não é acidental. Sua equipe construiu camadas de serviço comuns, microsserviços e APIs que ficam entre a camada de IA e tudo o que está por baixo dela. Assim, quando um modelo melhor surgir, trocá-lo não significa começar de novo.
Porque, explicou Merritt, “o melhor da raça hoje pode ser o pior da raça amanhã, e não queremos nos preparar para ficar para trás”.
Capinando em vez de deixar mil flores desabrocharem
O Mass Normal Brigham (MGB), por sua vez, adotou uma abordagem mais pulverizada e orante – no início.
Cerca de 15.000 pesquisadores do sistema de saúde sem fins lucrativos têm usado IA, ML e aprendizagem profunda nos últimos 10 a 15 anos, disse o CTO Nallan “Sri” Sriraman no mesmo evento VB.
Mas no ano passado ele fez uma escolha ousada: sua equipe encerrou uma série de pilotos de IA não governados. Inicialmente, “seguimos o desabrochar de mil flores [methodology]mas não tínhamos mil flores, provavelmente tínhamos algumas dezenas de flores tentando desabrochar”, disse ele.
Assim como a equipe de Merritt no MassMutual, a MGB adotou uma visão mais holística, examinando por que estavam desenvolvendo determinadas ferramentas para departamentos específicos de fluxos de trabalho. Eles questionaram quais capacidades eles queriam e precisavam e que investimento elas exigiam.
A equipe de Sriraman também conversou com seus principais fornecedores de plataformas – Epic, Workday, ServiceNow, Microsoft – sobre seus roteiros. Este foi um “momento essential”, observou ele, pois eles perceberam que estavam construindo ferramentas internas que os fornecedores já forneciam (ou planejavam implementar).
Como disse Sriraman: “Por que estamos construindo nós mesmos? Já estamos na plataforma. Ela estará no fluxo de trabalho. Aproveite-a.”
Dito isto, o mercado ainda é incipiente, o que pode tornar decisões difíceis. “A analogia que farei é quando você pede a seis cegos que toquem em um elefante e digam: como é esse elefante?” Sriraman disse. “Você obterá seis respostas diferentes.”
Não há nada de errado com isso, observou ele; acontece que todo mundo está descobrindo e experimentando à medida que a paisagem continua mudando.
Em vez de um ambiente de faroeste, a equipe de Sriraman distribui o Microsoft Copilot para usuários em toda a empresa e usa uma “pequena zona de destino” onde podem testar com segurança produtos mais sofisticados e controlar o uso de tokens.
Eles também começaram a “incorporar conscientemente campeões de IA” em grupos empresariais. “Isso é o contrário de deixar mil flores desabrocharem, plantando e nutrindo cuidadosamente”, disse Sriraman.
A observabilidade é outra grande consideração; ele descreve painéis em tempo actual que gerenciam desvios de modelo e segurança e permitem que as equipes de TI governem a IA “um pouco mais pragmaticamente”. O monitoramento da saúde é elementary para os sistemas de IA, observou ele, e sua equipe estabeleceu princípios e políticas em torno do uso de IA, para não mencionar os privilégios de acesso mínimos.
Em ambientes clínicos, as barreiras são absolutas: os sistemas de IA nunca emitem a decisão closing. “Sempre haverá um médico ou assistente médico responsável para fechar a decisão”, disse Sriraman. Ele citou a geração de relatórios radiológicos como uma área onde a IA é muito usada, mas onde um radiologista sempre aprova.
Sriraman foi claro: “Você não deve fazer isso: não mostre PHI [protected health information] em Perplexidade. Simples assim, certo?”
E, o que é mais importante, devem existir mecanismos de segurança. “Precisamos de um grande botão vermelho, mate-o”, enfatizou Sriraman. “Não colocamos nada no ambiente operacional sem isso.”
Em última análise, embora a IA de agência seja uma tecnologia transformadora, a abordagem empresarial a ela não precisa ser dramaticamente diferente. “Não há nada de novo nisso”, disse Sriraman. “Você pode substituir a palavra BPM [business process management] dos anos 90 e 2000 com IA. Os mesmos conceitos se aplicam.”
