A P&D de IA funciona em um ciclo de hipóteses, experimentos e análises – cada etapa exigindo um esforço handbook substancial de engenharia. Uma nova estrutura dos pesquisadores do SII-GAIR visa fechar esse gargalo, automatizando todo o ciclo de otimização para dados de treinamento, arquiteturas de modelos e algoritmos de aprendizagem.
Uma nova estrutura chamada ASI-EVOLVEdesenvolvido por pesquisadores do Laboratório de Pesquisa em Inteligência Synthetic Generativa (SII-GAIR), visa solucionar esse gargalo. Projetado como um sistema agente para pesquisa de IA por IA, ele usa um ciclo contínuo de “aprender-projetar-experimentar-analisar” para automatizar a otimização da pilha basic de IA.
Em experimentos, esse ciclo de autoaperfeiçoamento descobriu de forma autônoma novos projetos que superaram significativamente as linhas de base humanas de última geração. O sistema gerou novas arquiteturas de modelos de linguagem, melhorou os pipelines de dados de pré-treinamento para aumentar as pontuações de benchmark em mais de 18 pontos e projetou algoritmos de aprendizagem por reforço altamente eficientes.
Para equipes empresariais que executam ciclos repetidos de otimização em seus sistemas de IA, a estrutura oferece um caminho para reduzir a sobrecarga handbook de engenharia e, ao mesmo tempo, igualar ou exceder o desempenho das linhas de base projetadas por humanos.
O gargalo de dados e design
As equipes de engenharia só podem explorar uma pequena fração do vasto espaço de design possível para modelos de IA a qualquer momento. A execução de fluxos de trabalho experimentais requer esforço handbook dispendioso e intervenção humana frequente. E os insights obtidos com esses ciclos dispendiosos são muitas vezes isolados como intuição ou experiência particular person, dificultando a preservação e a transferência sistemática desse conhecimento para projetos futuros ou entre equipes diferentes. Estas restrições limitam fundamentalmente o ritmo e a escala da inovação em IA.
A IA fez avanços incríveis nas descobertas científicas, desde ferramentas especializadas como AlfaFold resolvendo problemas biológicos discretos para sistemas agentes respondendo a questões científicas básicas. No entanto, os quadros atuais ainda enfrentam dificuldades com a inovação aberta da IA e estão, na sua maioria, limitados à otimização restrita dentro de restrições muito específicas.
O avanço dos principais recursos de IA é muito mais complexo. Requer a modificação de grandes bases de código interdependentes, a execução de experimentos de computação pesada que consomem dezenas a centenas de horas de GPU e a análise do suggestions multidimensional da dinâmica de treinamento.
“Os quadros existentes ainda não demonstraram que a IA pode operar eficazmente neste regime de forma unificada, nem que pode gerar avanços significativos nos três pilares fundamentais do desenvolvimento da IA, em vez de num único ambiente de âmbito restrito”, escrevem os investigadores.
Como ASI-EVOLVE aprende a pesquisar
Para superar as limitações da P&D handbook, o ASI-EVOLVE opera em um ciclo contínuo entre conhecimento prévio, geração de hipóteses, experimentação e refinamento. O sistema aprende conhecimento relevante e experiência histórica de bancos de dados existentes, projeta um programa candidato representando sua próxima hipótese, executa experimentos para obter sinais de avaliação e analisa os resultados em lições reutilizáveis e legíveis por humanos que são realimentadas em sua base de conhecimento.
Existem dois componentes principais que impulsionam o ASI-EVOLVE. A “Base de Cognição” atua como o conhecimento de domínio basic do sistema. Para acelerar o processo de pesquisa, o sistema é pré-carregado com conhecimento humano, heurísticas relevantes para tarefas e armadilhas conhecidas extraídas da literatura existente. Isso direciona a exploração para direções promissoras desde a primeira iteração.
O segundo componente é o “Analisador”, que aborda o suggestions complexo e multidimensional dos experimentos. Ele processa registros brutos de treinamento, resultados de benchmark e rastreamentos de eficiência, destilando-os em insights compactos e acionáveis e análises causais.
Vários outros módulos complementares unem a estrutura. Um agente “Pesquisador” revisa o conhecimento prévio da base de cognição e resultados experimentais anteriores para gerar novas hipóteses, seja propondo modificações localizadas no código ou escrevendo novos programas.
O componente “Engineer” executa os experimentos reais. Como os testes de treinamento de IA são incrivelmente caros, o Engineer está equipado com medidas de eficiência, como limites de relógio e testes rápidos de rejeição antecipada, para filtrar programas candidatos defeituosos antes que eles consumam horas excessivas de GPU.
Finalmente, o “Banco de Dados” serve como memória persistente do sistema, armazenando o código, as motivações da pesquisa, os resultados brutos e os relatórios finais do Analisador para cada iteração, garantindo que os insights sejam compostos sistematicamente ao longo do tempo.
Ao unificar esses componentes, o ASI-EVOLVE garante que um agente de IA aprenda sistematicamente com suggestions experimental complexo e do mundo actual, sem exigir intervenção humana constante.
Embora as estruturas anteriores sejam projetadas para desenvolver soluções candidatas, “ASI-EVOLVE evolui a própria cognição”, escrevem os pesquisadores. “A experiência acumulada e os insights destilados são continuamente armazenados e recuperados para informar futuras explorações, garantindo que o sistema cresça não apenas na qualidade de suas soluções, mas também em sua capacidade de raciocinar sobre onde pesquisar em seguida.”
ASI-EVOLVE em ação
Em seus experimentos, os pesquisadores mostraram que o ASI-EVOLVE pode melhorar com sucesso a curadoria de dados, arquiteturas de modelos e algoritmos de aprendizagem para criar melhores sistemas de IA.
Para aplicações empresariais do mundo actual, dados de alta qualidade são um gargalo persistente. Quando encarregado de projetar estratégias de limpeza específicas para categorias para grandes corpora de pré-treinamento, o ASI-EVOLVE inspecionou amostras de dados e diagnosticou problemas de qualidade, como artefatos HTML e inconsistências de formatação. O sistema formulou de forma autônoma regras de curadoria personalizadas, descobrindo que a limpeza sistemática combinada com regras de preservação com reconhecimento de domínio é muito mais eficaz do que a filtragem agressiva.
Em testes de benchmark, os modelos de parâmetros 3B treinados com dados curados por IA tiveram um aumento de pontuação média de quase 4 pontos em relação aos modelos treinados com dados brutos. Os ganhos foram maiores em tarefas de uso intensivo de conhecimento, com o desempenho aumentando em mais de 18 pontos no Large Multitask Language Understanding (MMLU), um benchmark LLM que abrange tarefas em STEM, humanidades e ciências sociais.
Além dos dados, o sistema provou ser altamente capaz no projeto de arquitetura neural. Ao longo de 1.773 rodadas de exploração autônoma, gerou 105 novas arquiteturas de atenção linear que ultrapassaram a DeltaNet, uma linha de base altamente eficiente projetada por humanos. Para alcançar esses resultados, o ASI-EVOLVE desenvolveu mecanismos de roteamento multiescala que ajustam dinamicamente o orçamento computacional do modelo com base no conteúdo específico da entrada.
Finalmente, no projeto de algoritmos de aprendizagem por reforço, o ASI-EVOLVE descobriu novos mecanismos de otimização. Ela projetou algoritmos que superaram a linha de base competitiva do GRPO em benchmarks de raciocínio matemático complexo, como AMC32 e AIME24. Uma variante bem-sucedida inventou um “raio dinâmico com restrição de orçamento” que mantém as atualizações do modelo dentro de um orçamento definido, estabilizando efetivamente o treinamento em dados ruidosos.
O que isso significa para a IA empresarial
Os fluxos de trabalho de IA empresarial exigem constantemente otimizações nos sistemas existentes, desde o ajuste fino de modelos de código aberto em dados proprietários até pequenas alterações em arquiteturas e algoritmos. Normalmente, os recursos computacionais e as horas de engenharia necessárias para realizar tais esforços são imensos e estão além das capacidades da maioria das organizações. Como resultado, muitos são obrigados a executar versões não otimizadas de modelos padrão de IA.
A equipe de pesquisa afirma que a estrutura foi projetada para que as empresas possam integrar conhecimento de domínio proprietário no repositório de cognição e permitir que o loop autônomo itere em sistemas internos de IA.
A equipe de pesquisa tem código aberto do código ASI-EVOLVEdisponibilizando a estrutura básica para desenvolvedores e criadores de produtos.
