Nota do editor: Invoice Hilf é o ex-CEO do Grupo Vulcan/Vale, atual presidente do conselho da Ai2 e da American Prairie, e autor do novo romance de ficção científica, “The Disruption”, que explora os tópicos de IA e ecossistemas naturais. Ele falou sobre o livro no Podcast GeekWire e discorre sobre os temas neste ensaio complementar.
Estamos construindo IA em escala civilizacional enquanto ainda falamos sobre isso como se fosse um lançamento de software program.
Qual modelo supera qual benchmark. Qual chatbot parece mais humano. Essas questões são importantes, mas estão na altitude errada. Os sistemas de IA não respondem mais apenas a perguntas. Eles medeiam contratações, diagnósticos, logística, finanças e partes crescentes da tomada de decisões públicas. Não estamos mais enviando produtos. Estamos remodelando ambientes.
Nesta escala, a IA está fortemente interligada. Possui modos de falha vinculados. Comportamento emergente. Espécies invasoras. Pontos de inflexão.
Tratar um ambiente como um produto é um erro de categoria e já está aumentando.
Passei três décadas construindo os sistemas que hoje estão no centro desta conversa, desde a computação científica na IBM até os primeiros sistemas Azure e sistemas empresariais de grande escala na HP. O modelo de trabalho period determinístico: especificar o sistema, construí-lo, ajustá-lo, controlá-lo. Se algo quebrar, diagnostique e corrija. Esse modelo funciona até que isso não aconteça.
Em escala suficiente, os sistemas distribuídos param de se comportar como máquinas e passam a se comportar mais como ecossistemas. Eles se adaptam. Eles contornam o fracasso. Eles desenvolvem dependências que ninguém projetou e interações que ninguém entende completamente. Você ainda pode arquitetá-los e projetá-los. Mas uma vez incorporados em todos os lugares, conectados a tudo e otimizados em muitas camadas para serem lembrados por qualquer pessoa, eles não são mais apenas ferramentas.
E a curva está cada vez mais acentuada. As últimas novidades da McKinsey Estado da IA diz que 88% das organizações pesquisadas agora usam IA em pelo menos uma função de negócios, acima dos 55% de dois anos antes. Gartner prevê gastos mundiais com software program acima de US$ 1,4 trilhão em 2026. Em comentários de investidores que circularam este ano, Thomas Bravo argumenta que a IA agente poderia criar uma oportunidade de receita incremental de aplicativos de aproximadamente US$ 3 trilhões, convertendo gastos com mão de obra em gastos com software program. Isso não é uma atualização de recurso. É o sistema que se reconfigura em pleno voo, mais rápido do que a maioria das empresas consegue governar, auditar ou mesmo classificar o que já construiu.
Essa constatação não veio apenas da tecnologia. Também veio da conservação.
A ecologia tem um nome para o que acontece quando uma camada de suporte é removida muito rapidamente: cascata trófica. O comércio de peles das Aleutas quase exterminou as lontras marinhas no século XVIII. Lontras comem ouriços. Ouriços comem algas. Remova as lontras e você não terá um buraco em forma de lontra. Você tem uma explosão de ouriços-do-mar, o colapso de florestas de algas e a perda de todos os viveiros de peixes que as algas estavam silenciosamente sustentando.
Esse é o padrão que deveríamos observar nas infraestruturas dependentes de IA. A IA provavelmente será melhor do que o seu pessoal em triagem, pontuação e previsão. O verdadeiro problema é a velocidade. Estamos substituindo as pessoas que forneciam julgamento, correção e restrição, o tecido conjuntivo que nunca apareceu em um diagrama de fluxo de trabalho. A voz nas zonas cinzentas, as decisões não computáveis. Remova essa camada mais rápido do que a organização consegue descobrir o que ela estava segurando e você obterá a mesma cascata.
Se levamos a sério a construção de uma infraestrutura de IA durável, vale a pena estudar esses padrões, e algumas das lições são desconfortáveis.
A eficiência é superestimada. Na tecnologia, como na ecologia, um sistema otimizado com demasiada rigidez torna-se frágil. Folga e redundância são importantes. O mesmo acontece com os aceiros e com a autonomia native.
Em julho de 2024, uma única atualização de configuração do CrowdStrike travou 8,5 milhões de máquinas em todo o mundo. Companhias aéreas, hospitais, centros 911, bancos. US$ 5,4 bilhões em perdas. Eles reverteram a atualização incorreta em 78 minutos. A recuperação demorou dias. A Southwest Airways praticamente não foi afetada. Simplesmente não estava executando o software program CrowdStrike. Às vezes, a ausência de uma dependência é o seu próprio aceiro. Se todas as funções importantes da sua pilha dependem de um modelo, um provedor ou um pipeline de treinamento, você não construiu uma maravilha inteligente. Você construiu uma interrupção futura.
Os ecossistemas não falham apenas em cascata. Eles também falham por acréscimo. A IA está a entrar nos fluxos de trabalho da mesma forma que as espécies invasoras entram nos ecossistemas: através de vetores de baixa visibilidade, uma implantação de cada vez. Um copiloto aqui, uma camada de resumo ali, um agendador autônomo em algum lugar que ninguém está rastreando. Cada implantação é defensável por si só. O efeito cumulativo é algo que ninguém escolheu. A revisão e o atrito que mantiveram a honestidade dos processos anteriores foram construídos para a velocidade humana. Nada os substituiu na velocidade da máquina.
Um modelo não permanece o que period no laboratório quando começa a moldar o ambiente que mais tarde o molda. Os sistemas de IA fazem o mesmo quando implantados em mercados, meios de comunicação, instituições e comportamento humano. Você não regula um ecossistema inspecionando organismos individuais. Você regula as condições que determinam se todo o sistema se recupera ou entra em colapso. Essas condições incluem observabilidade.
Os sistemas que não podem ser inspecionados, estudados ou avaliados de forma independente são sistemas que ninguém pode realmente compreender ou governar bem. A abertura é importante aqui, não como um slogan, mas como um requisito para análise e confiança conquistada. A mesma lógica se aplica à tolerância a falhas. Antes que um modelo seja permitido dentro de sistemas críticos, seu operador deverá provar que todo o ambiente ainda pode funcionar sem ele. Isso significa testes de degradação obrigatórios, a forma como testamos a resistência de bancos e pontes.
Os construtores não precisam esperar pelos reguladores. Se uma camada de IA estiver entrando em um fluxo de trabalho de produção, os construtores precisarão saber o que acontece quando o modelo está errado, o fornecedor está inativo ou o comportamento muda após a implantação. Se a resposta honesta for “não sabemos”, a camada não está pronta para suportar carga. Isso vale para um sistema de triagem hospitalar e para um bot de suporte ao cliente. Isso é especialmente verdadeiro para agentes com escopo aberto: software program que pode planejar, chamar ferramentas e agir em ambientes que ninguém controla totalmente. Para esses sistemas, a qualidade do modelo é a questão fácil. O difícil é quem é responsável quando falha.
As arquiteturas multiagentes e as abordagens de conjuntos podem melhorar a resiliência, mas apenas quando a diversidade for actual. Três agentes encaminhados para o mesmo modelo de base podem melhorar o raciocínio, mas não são três salvaguardas independentes. Eles são uma dependência com três chapéus.
Há uma consequência estratégica mais ampla aqui. Em ecossistemas estáveis, as espécies dominantes aumentam lentamente a sua vantagem. Encurte o ciclo de perturbação e muitas dessas vantagens desaparecerão antes de amadurecerem. Isso está acontecendo com os fossos empresariais agora. Quando a disrupção fica radicalmente mais barata, a questão vencedora deixa de ser o que você está construindo e passa a ser o que ainda se acumula quando nada ao seu redor dura. Em implantações no mundo actual, o “melhor” modelo perde para o sistema mais adaptável.
A recuperação é tão importante quanto a prevenção. No trabalho de conservação que realizo, a questão nunca é como impedir a mudança. A perturbação é inevitável. A questão é o que sobrevive, com que rapidez um sistema recupera e que capacidades ocultas permanecem após o choque. Deveríamos perguntar o mesmo em relação à infraestrutura dependente de IA. Não apenas “É seguro?” mas “Como ele falha? Quem pode substituí-lo? Até que ponto o fracasso se espalha? O que volta a crescer após o erro?”
O que quebra, na minha experiência, é a suposição de controle. Os sistemas reais não entram em colapso de forma limpa e não se recuperam de forma limpa. Algumas peças falham. Alguns se adaptam. Alguns se transformam em coisas que ninguém pretendia.
A natureza tem executado detecção distribuída, resposta native e recuperação há centenas de milhões de anos. Tem operado o tipo de rede que continuamos tentando inventar. Não porque as florestas sejam conscientes ou porque o planeta seja uma IA, mas porque os problemas de engenharia são estruturalmente semelhantes: como é que um sistema sem controlo central mantém a coerência, adapta-se aos danos e persiste ao longo do tempo?
A questão já não é apenas o que os sistemas de IA podem fazer. É que tipo de mundo eles criam à sua volta, que tipo de mundo herdam de nós e se somos suficientemente sábios para construir sistemas que ainda possamos dirigir.
Se levarmos isto a sério, seguem-se alguns princípios. Projete para a diversidade antes da eficiência. Construa para recuperação antes do desempenho. Mantenha os humanos informados, não como uma medida de conformidade, mas como administradores do sistema, sua fonte de julgamento e sua memória sobre por que ele existe. Insista na abertura, em todos os níveis, como pré-condição para a confiança em grande escala. Nada disso retarda a IA. É o que mantém a IA funcionando no dia em que algo falha.
Você pode desligar uma máquina.
Você tem que viver dentro de um ecossistema.
