Cada consulta que um aplicativo corporativo de IA processa, cada correção que um especialista no assunto faz em seus resultados – essa interação são dados de treinamento. A maioria das organizações não está capturando isso. Os fluxos de trabalho de produção que as empresas já construíram estão a gerar um sinal contínuo que melhora os modelos de IA e está a desaparecer.
A Empromptu AI, com sede em São Francisco, lançou na quinta-feira Alchemy Fashions com uma premissa direta: as aplicações de IA que as empresas já estão construindo estão gerando dados de treinamento, e a maior parte deles será desperdiçada. A plataforma captura esse sinal automaticamente, encaminhando resultados validados de especialistas no assunto de volta para um pipeline de ajuste fino que melhora o modelo ao longo do tempo. As empresas detêm totalmente os pesos resultantes.
Ele fica em um território diferente do RAG e do ajuste fino tradicional. O RAG recupera o contexto externo no momento da inferência sem modificar os pesos do modelo. O ajuste fino tradicional altera os pesos, mas requer conjuntos de dados rotulados montados separadamente e um pipeline de ML dedicado. A Alchemy faz isso continuamente, usando o próprio aplicativo corporativo como fonte de dados.
As empresas que adotam APIs de modelo básico enfrentam três restrições compostas: custos de inferência que aumentam com o uso, nenhuma propriedade dos modelos que seus dados estão efetivamente treinando e capacidade limitada de personalizar o comportamento para tarefas específicas do domínio. A CEO da Empromptu, Shanea Leven, diz que essas restrições são amplamente sentidas, mas raramente abordadas.
“Cada cliente, todo mundo com quem converso, pensa: como não vou ser interrompido? Como vou proteger meu negócio? E eles simplesmente não veem o caminho”, disse Leven ao VentureBeat em entrevista exclusiva.
Como o Alchemy constrói um modelo a partir de um aplicativo em execução
A maioria das abordagens de treinamento de modelos personalizados exige que as empresas coletem, limpem e rotulem dados separadamente antes que qualquer ajuste fino possa começar. A Alchemy segue um caminho diferente: o próprio aplicativo corporativo gera e limpa os dados de treinamento.
O mecanismo funciona através do Empromptu Pipelines de dados dourados infraestrutura em duas etapas. Antes de um aplicativo ser criado, os dados corporativos são limpos, extraídos e enriquecidos para que o aplicativo comece com entradas estruturadas. Uma vez em execução, todos os resultados gerados voltam ao pipeline, onde especialistas no assunto dentro da organização os revisam e corrigem. Essa saída validada se torna os dados de treinamento para a próxima execução de ajuste fino.
“O aplicativo, o aplicativo de IA que os clientes já estão criando, limpa os dados”, disse Leven.
Os modelos ajustados resultantes são o que a Empromptu chama de Knowledgeable Nano Fashions: modelos pequenos, específicos para tarefas, otimizados para um fluxo de trabalho específico, em vez de raciocínio de uso geral. Avaliações, proteções e controles de conformidade são executados no mesmo pipeline, de modo que a governança acompanha o processo de treinamento. Os clientes possuem os pesos do modelo imediatamente. O Empromptu hospeda e executa inferências em sua infraestrutura, mas os pesos são portáteis e exportáveis mediante o pagamento de uma taxa. A plataforma é independente de modelo, suportando Llama, Qwen e outros modelos básicos.
A restrição difícil é o quantity de dados. As primeiras implantações são executadas no modelo básico enquanto o aplicativo acumula dados de produção suficientes para acionar uma execução útil de ajuste fino. Leven reconheceu o cronograma sem adoçá-lo. “Treinar o modelo levará tempo”, disse ela.
A alquimia difere do ajuste fino gerenciado sobre quem faz o trabalho
A API de ajuste fino da OpenAI e os modelos personalizados do AWS Bedrock oferecem ajuste fino empresarial. Ambos exigem que as organizações tragam conjuntos de dados de treinamento preparados separadamente e gerenciem o processo de ajuste fino fora da pilha de aplicativos. A responsabilidade da curadoria de dados e avaliação do modelo recai sobre a equipe de ML do cliente.
O diferencial da Alchemy é a integração de processos. Os dados de treinamento são gerados pelo próprio aplicativo empresarial, portanto, não há etapa separada de preparação de dados nem é necessária experiência em ML. O fluxo de trabalho do aplicativo é o pipeline.
“Preciso ter a Bedrock e criar outra equipe de ML para descobrir como ajustar um modelo e descobrir toda essa infraestrutura? Não, qualquer um pode fazer isso agora”, disse Leven.
A desvantagem é a dependência da plataforma. A Alquimia só funciona no ambiente Empromptu. As empresas que desejam o mesmo resultado na infraestrutura existente precisariam replicar elas próprias a captura de dados, a validação e o pipeline de ajuste fino.
Uma empresa de saúde comportamental reduziu o tempo de documentação da sessão em até 87% usando Alchemy
A Empromptu tem como alvo primeiro os setores verticais regulamentados e com uso intensivo de dados: saúde, serviços financeiros, tecnologia jurídica, varejo e previsão de receitas. Estes são setores onde os resultados do modelo de uso geral apresentam o maior risco de incompatibilidade e os dados proprietários do fluxo de trabalho estão mais concentrados.
Entre os primeiros usuários está a empresa de saúde comportamental Ascent Autism, que usa o Alchemy para automatizar a documentação das sessões e a comunicação com os pais.
Os facilitadores usam gravações, transcrições, notas de sessão e métricas comportamentais das sessões dos alunos para gerar notas estruturadas e atualizações personalizadas para os pais. Anteriormente, esse fluxo de trabalho exigia de uma a duas horas de escrita por sessão. Com o treinamento de Alquimia com os mesmos dados, agora leva de 10 a 15 minutos.
“Confiar apenas em modelos baseados em API pode se tornar caro rapidamente”, disse Faraz Fadavi, cofundador e CTO da Ascent Autism, ao VentureBeat. “A Alchemy nos deu uma maneira de estruturar o fluxo de trabalho, treinar modelos em nossos próprios dados e reduzir custos e, ao mesmo tempo, melhorar a qualidade da produção ao longo do tempo.”
Fadavi disse que a empresa obteve resultados utilizáveis rapidamente, com melhorias contínuas à medida que o sistema period refinado. Os critérios de avaliação foram além da precisão para incluir a rastreabilidade dos dados da sessão e a consistência dos resultados com a voz clínica da empresa. “Queríamos um sistema que pudesse aprender nosso fluxo de trabalho e produzir resultados alinhados com a forma como realmente operamos – e não apenas resumir texto”, disse ele. O teste prático: quanto os facilitadores precisam editar, se o resultado corresponde à sua voz e se isso reduz significativamente o tempo gasto. Os facilitadores passaram da reescrita das notas geradas para a edição e verificação de qualidade das mesmas.
O que isso significa para as empresas
O volante de dados é actual – mas o aprisionamento da plataforma também o é:
Cada fluxo de trabalho é uma oportunidade de treinamento. As empresas que capturam e validam os resultados das suas aplicações de IA de produção aumentarão essa vantagem ao longo do tempo. Mais uso gera mais sinais de treinamento, o que produz modelos específicos de domínio mais precisos, que geram melhores resultados, que produzem dados de treinamento mais limpos no próximo ciclo.
Leven posiciona a Alquimia como uma terceira escolha arquitetônica. As empresas passaram os últimos dois anos escolhendo entre RAG para acesso ao conhecimento de domínio e ajuste fino para especialização de modelo. O treinamento de modelos orientado por fluxo de trabalho é uma terceira opção, combinando a melhoria contínua do ajuste fino com a simplicidade operacional de construir dentro de uma plataforma gerenciada.
“Ter esse fosso de dados é a moeda mais valiosa”, disse Leven.
