O que bilhões de previsões de IA ensinaram à Expedia antes da period dos agentes de IA

Há uma distinção importante entre a IA que funciona hoje e a IA que dura em grande escala. Muitas empresas otimizam bastante para o primeiro sem nunca perguntar se estão construindo o segundo.

Velocidade sem disciplina e direção estratégica é um passivo, não um ativo. A parte mais difícil de construir IA em escala não é fazer um modelo funcionar uma vez. É construir sistemas que continuem a funcionar, que vão além de equipes individuais e casos de uso e que melhorem de forma consistente ao longo do tempo.

Os sistemas de IA atuais fazem mais do que apenas prever e otimizar. Eles conversam, raciocinam e cada vez mais agem. Um sistema autónomo que toma decisões em nome de um viajante cria um conjunto muito diferente de expectativas em torno da fiabilidade, governação e responsabilização. À medida que a IA assume mais dessas funções, os princípios por trás de como esses sistemas operam são mais importantes do que nunca.

Passamos anos aplicando IA e aprendizado de máquina (ML) em toda a jornada do viajante — desde personalização, classificação e recomendações até prevenção de fraudes, suporte ao cliente e, mais recentemente, experiências de IA generativas e de agente. Essa profundidade de experiência foi o que nos levou a desenvolver um conjunto de princípios de ML e IA para orientar como construímos, implantamos e desenvolvemos sistemas de IA em nossa empresa.

O objetivo é simples: garantir que os sistemas que construímos criem valor comercial actual, sejam dimensionados e operem com segurança. Esses princípios definem como medimos, projetamos, governamos e operamos nossos sistemas.

Dos princípios à prática

Os princípios de publicação são a parte fácil. O trabalho mais difícil e importante é transformá-los em mecanismos operacionais: recomendações, requisitos, ferramentas e processos de lançamento que as equipes realmente utilizam.

Começamos a usar pedágios de ‘Lançamento de Agente’: um conjunto de verificações recomendadas e, em alguns casos, obrigatórias antes de lançar recursos de IA de agente. Estas portagens traduzem princípios como a apropriação clara, a governação baseada no risco, a avaliação, a implementação segura e a monitorização em expectativas concretas para as equipas.

Algumas dessas recomendações e requisitos já estão sendo automatizados e integrados ao ciclo de vida de desenvolvimento de software program (SDLC). Com o tempo, o objetivo é que estas expectativas sejam incorporadas na forma como concebemos, avaliamos, aprovamos, lançamos e monitorizamos sistemas de IA desde o início.

Resultados: Medindo o que realmente importa

O primeiro teste para qualquer modelo é se ele melhora o resultado comercial e, em última análise, a experiência do viajante – e não se apenas melhora uma métrica técnica.

1. Alinhe modelos às métricas com impacto nos negócios: Cada esforço de ML deve estar diretamente vinculado a um resultado comercial importante ou a uma métrica de experiência do viajante. As otimizações técnicas são pontos médios úteis, não metas finais.

2. Otimize para obter retorno sobre o custo: O valor que um modelo cria deve justificar quanto custa desenvolver, treinar e monitorar, além da complexidade operacional que ele agrega. Dê preferência a soluções que proporcionem um impacto duradouro em relação ao custo de funcionamento.

3. Justifique a complexidade com base em linhas de base sólidas: A complexidade deve ser conquistada, não assumida. Comece com uma linha de base sólida: um modelo geral existente, uma heurística simples, uma solução pronta para uso. Procure modelos especializados ou arquiteturas mais complexas somente quando opções mais simples realmente não atenderem aos padrões.

4. Exigir avaliação offline e on-line: nenhum modelo vai para implantação ampla apenas na validação offline ou vai direto para testes A/B. Cada modelo deve ter desempenho tanto em avaliações offline quanto on-line. Com o tempo, nossas avaliações off-line deverão prever com segurança o que vemos on-line.

Design: construir sistemas que vão além das equipes que os constroem

Fazer com que um modelo funcione é um desafio. Fazer com que seu valor se estenda além de uma única equipe ou caso de uso é o mais difícil.

1. Construir sobre bases partilhadas; especialize-se apenas quando justificado: Favoreça bases compartilhadas em toda a plataforma para recursos essenciais, representações de dados e blocos de construção de modelos. A especialização deve basear-se nessas bases e não criar pilhas isoladas, de modo que, quando a base melhorar, os ganhos fluam por toda a organização.

2. Trate os dados como um produto de primeira classe: a qualidade de um modelo é limitada pela qualidade de seus dados. Precisamos manter pipelines robustos, linhagem clara, reprodutibilidade e recursos reutilizáveis ​​construídos com propriedade documentada, esquemas claros e SLAs nos quais outras equipes possam confiar.

3. Priorize a generalidade em vez da otimização native: quando duas abordagens têm desempenho semelhante, dê preferência àquela cujos aprendizados, ativos e padrões operacionais podem ser reutilizados entre equipes, marcas e casos de uso. Devemos otimizar não apenas o desempenho native, mas também a rapidez com que as melhorias podem se difundir por toda a empresa e aumentar ao longo do tempo.

4. Reduce e desative regras de negócios manuais: Às vezes, regras manuais são necessárias para políticas, segurança ou conformidade, mas devem ser explícitas e revisadas regularmente, nunca correções silenciosas para modelos fracos ou uma fonte de dívida de manutenção permanente.

5. Reprodutibilidade e rastreabilidade por padrão: Dados de treinamento, recursos, configurações, resultados de avaliação, versões de implantação e decisões importantes devem ser documentados e recuperáveis. É isso que permite depurar um problema de produção meses depois e transferir a propriedade sem perder o conhecimento institucional.

Confiança: propriedade, governança e operação responsável em grande escala

A barreira para implantar IA não é apenas “funciona?” É “podemos apoiar isso?” A confiança não é algo que você adiciona no remaining; ela é conquistada ao longo do tempo e mantida durante todo o ciclo de vida de cada modelo que enviamos.

1. Atribuir propriedade e responsabilidade claras: Cada modelo precisa de propriedade definida em todo o seu ciclo de vida – um proprietário de negócio, um proprietário de produto, um proprietário de IA e um proprietário operacional. Não precisam ser quatro pessoas, mas as responsabilidades devem ser explícitas. Quem é responsável pelos resultados? Quem responde se o modelo desviar? Quem responde ao incidente às 2 da manhã? Sem isso, os modelos ficam órfãos e os problemas surgem sem que ninguém os possua.

2. Aderir aos padrões e governança: Os modelos de IA e ML devem usar plataformas aprovadas e cumprir os padrões estabelecidos da empresa, as portas de lançamento e os processos de governança. Operar fora dessas barreiras requer um caminho claro e definido para remediação ou descontinuação, em vez de uma exceção aberta.

3. Governe proporcionalmente ao risco: O nível de revisão, o rigor da avaliação e a supervisão humana devem ser dimensionados de acordo com o impacto do modelo. Um modelo voltado para o cliente que afeta os preços ou a disponibilidade para milhões de viajantes exige um padrão muito mais alto do que uma ferramenta interna usada por uma equipe pequena. Para sistemas de alto impacto, sensíveis à segurança ou altamente autônomos, os pontos de verificação humanos no circuito são integrados desde o início.

4. Projete para justiça, privacidade e transparência: testamos ativamente a existência de preconceitos não intencionais, temos fortes proteções de dados e favorecemos a explicabilidade quando as decisões afetam significativamente os usuários. Eles são incorporados desde o início, não adicionados.

5. Projete para implementação, reversão e controle seguros: as implantações são progressivas, com caminhos de reversão, mecanismos de fallback e disjuntores prontos antes do lançamento. A capacidade de desfazer uma implantação com segurança é tão importante quanto a capacidade de enviá-la.

6. Monitore continuamente e adapte: Uma vez em operação, as equipes devem monitorar ativamente a qualidade, o desvio, a latência, o custo e o desempenho dos negócios e treinar ou recalibrar quando os dados mudam. Uma equipe deve sempre ser capaz de explicar como está o desempenho de seu modelo agora, e não apenas como estava quando foi lançado.

Esses princípios fazem mais do que definir como construímos. Eles definem o que estamos dispostos a entregar e como apoiamos isso. Num mundo onde os sistemas de IA são cada vez mais importantes e tomam decisões reais para viajantes e parceiros reais, estes padrões são importantes. Aplicados de forma consistente, eles criam uma IA responsável e duradoura.

Xavi Amatriain é diretor de IA e dados do Expedia Group

Xavier compartilhará mais detalhes sobre a arquitetura da Expedia durante sua sessão no Transformação VB em 14 de julho às 11h10, horário do Pacífico. Ele discutirá: “O plano da Expedia para construir agentes autônomos para sistemas transacionais de alto risco”.

Interessado em participar do VB Rework 2026? Cadastre-se aqui. Um número selecionado de passes gratuitos também está disponível para líderes seniores de tecnologia. Contate-nos para conseguir o seu.

Bem-vindo à comunidade VentureBeat!

Nosso programa de visitor posts é onde especialistas técnicos compartilham insights e fornecem análises profundas, neutras e não adquiridas, sobre IA, infraestrutura de dados, segurança cibernética e outras tecnologias de ponta que moldam o futuro das empresas.

Leia mais do nosso programa de visitor put up – e confira nosso diretrizes se você estiver interessado em contribuir com um artigo de sua autoria!