Os dois maiores dramas do Vale do Silício se cruzaram: LiteLLM e Delve

Este é um daqueles episódios da vida actual do Vale do Silício que parece retirado do programa de sátira da HBO. Esta semana, alguns malwares realmente atrozes foram descobertos em um projeto de código aberto desenvolvido por Graduado em Y Combinator LiteLLM.

LiteLLM oferece aos desenvolvedores acesso fácil a centenas de modelos de IA e oferece recursos como gerenciamento de gastos. É um grande sucesso, baixado até 3,4 milhões de vezes por dia, de acordo com Snykum dos muitos pesquisadores de segurança que monitoram o incidente. O projeto teve 40 mil estrelas no GitHub e milhares de garfos (aqueles que o usaram como base para alterá-lo e torná-lo seu).

O malware foi descoberto, documentado e divulgado pelo cientista pesquisador Callum McMahon da FutureSearch, uma empresa que oferece agentes de IA para pesquisa na net. O malware entrou por meio de uma “dependência”, ou seja, outro software program de código aberto no qual o LiteLLM dependia. Em seguida, roubou as credenciais de login de tudo o que tocou. Com essas credenciais, o malware obteve acesso a mais pacotes e contas de código aberto para coletar mais credenciais e assim por diante.

O malware fez com que a máquina de McMahon desligasse depois que ele baixou o LiteLLM. Esse evento o levou a investigar e descobrir. Ironicamente, um bug no malware fez com que sua máquina explodisse. Como aquele código desagradável foi projetado de maneira tão desleixada, ele (assim como famoso pesquisador de IA Andrej Karpathy) concluiu que deveria ter sido codificado por vibração.

Os desenvolvedores do LiteLLM trabalharam sem parar esta semana para corrigir a situação e a boa notícia é que foi detectado relativamente rápido, provavelmente em poucas horas.

Há outra parte desta saga que pessoal do X não consigo parar de falar. LiteLLM, quando olhamos em 25 de março, ainda exibe com orgulho em seu web site que passou por duas importantes certificações de conformidade de segurança, SOC2 e ISO 27001.

Mas usou uma startup chamada Delve para essas certificações.

Delve é a startup de conformidade com tecnologia Y-Combinator AI que foi acusada de enganar seus clientes sobre sua verdadeira conformidade de conformidade, supostamente gerando dados falsos e usando auditores que carimbam relatórios. Delve negou essas acusações.

Há um ponto de nuance aqui que vale a pena entender. Essas certificações têm como objetivo mostrar que uma empresa possui políticas de segurança fortes para limitar a possibilidade de incidentes como este. As certificações não evitam automaticamente que uma empresa, como a LiteLLM, seja atingida por malware. Embora o SOC 2 deva cobrir políticas relacionadas a dependências de software program, o malware ainda pode entrar.

Mesmo assim, como destacou o engenheiro Gergely Orosz em X quando ele viu pessoas rindo sobre isso on-line, “Oh, caramba, pensei que isso fosse uma piada… mas não, LiteLLM *realmente* period ‘Protegido pelo Delve'”.

Quanto ao LiteLLM, o CEO Krrish Dholakia não fez comentários sobre o uso do Delve. Ele ainda está ocupado limpando a infeliz bagunça causada por ter sido vítima de um ataque.

“Nossa prioridade atual é a investigação ativa junto com a Mandiant. Estamos comprometidos em compartilhar as lições técnicas aprendidas com a comunidade de desenvolvedores assim que nossa revisão forense for concluída”, disse ele ao TechCrunch.