Início Tecnologia A startup Glacis de Seattle traz o líder de longa information da...

A startup Glacis de Seattle traz o líder de longa information da Microsoft a bordo para atingir o maior ponto cego da IA

5
0

Rohit Tatachar, CTO e cofundador da Glacis.

Como engenheiro veterano e líder de produto no Microsoft Azure, Rohit Tatachar vimos que muitas empresas estavam construindo sistemas de IA que não podiam monitorar ou controlar totalmente na produção.

Em sua nova função em uma startup de Seattle, ele está fazendo algo a respeito.

Tatachar é agora cofundador e CTO da Glacisque cria registros à prova de falsificação do comportamento da IA ​​– o que o CEO Joe Braidwood chamou de “gravador de voo para IA corporativa”. Sua chegada ocorre no momento em que a Glacis lança novas ferramentas de código aberto para monitorar e controlar agentes de IA.

Glacis, coberto pela primeira vez pelo GeekWire em novembro de 2025, foi iniciado por Braidwood e pela Dra. Jennifer Shannon, psiquiatra e professora adjunta da Universidade de Washington.

A empresa cresceu a partir de uma lição difícil: a startup anterior de Braidwood, Yara, uma ferramenta de saúde psychological alimentada por IA, teve que ser encerrada depois que ele percebeu que os modelos se desviavam do comportamento pretendido durante longas conversas com usuários vulneráveis.

Depois de ter escrito sobre o encerramento no LinkedIn, reguladores, médicos, engenheiros e executivos de seguros fizeram a mesma observação: quando os sistemas de IA tomam decisões, ninguém pode verificar de forma independente se os controlos de segurança realmente funcionaram.

Essa foi a centelha para Glacis.

Como funciona: O produto principal da startup, chamado Arbiter, fica no caminho de cada chamada de inferência de IA e cria um registro assinado da entrada, das verificações de segurança executadas e do resultado ultimate.

O registro não pode ser alterado após o fato. Em grande escala, um sistema que a Glacis chama de Witness Community autentica esses registros em uma trilha auditável.

Os clientes podem optar por executar o sistema no “modo sombra”, observando sem intervir, ou no modo de fiscalização, onde restringe ativamente o comportamento da IA.

Os cofundadores da Glacis, Joe Braidwood (à esquerda) e Jennifer Shannon. (Foto Glacis)

Shannon, diretor médico da Glacis, disse que os riscos são especialmente elevados na área da saúde. Como psiquiatra infantil praticante, ela viu escribas ambientais alimentados por IA alucinarem com conteúdo em suas anotações clínicas, incluindo a fabricação de prescrições de medicamentos que ela nunca fez.

“Eu gostaria de poder voltar e ver cada passo de como aquele modelo de IA tomou essa decisão”, disse ela. “Se não houver infraestrutura para isso, quem é o responsável? Ninguém vai processar a IA. Sou eu.”

O desafio subjacente: Tatachar trabalhou na Microsoft em dois períodos de quase 19 anos, mais recentemente como principal gerente de produto na equipe Microsoft Foundry, sua plataforma para criar e implantar aplicativos e agentes corporativos de IA.

Ele disse que viu empresas construindo ferramentas e executando provas de conceito, mas lutando para colocar a IA em produção porque não conseguiam explicar ou verificar o que seus sistemas estavam fazendo.

Existem três dimensões para o problema, disse ele: o estado básico da infraestrutura de um cliente, o comportamento do modelo e o que é conhecido como “desvio de intenção”, onde um sistema se comporta de maneira diferente do que o cliente pretendia, mesmo que o modelo subjacente esteja funcionando normalmente.

Glacis monitora implantações em todos os três. “Somente quando você converge esses três aspectos é que o cliente tem uma visão actual do que realmente aconteceu”, disse Tatachar.

Novos lançamentos: Glacis está lançando redteam automáticouma ferramenta de código aberto que ataca automaticamente sistemas de IA em diversas categorias de vulnerabilidade, depois gera correções e verifica sua eficácia.

A empresa também está publicando EXCELENTE 1.0um padrão para o que chama de “evidência de verificação observável para confiança em tempo de execução”, destinado a fornecer às organizações uma estrutura para incorporar segurança de IA comprovável em suas operações.

Os lançamentos ocorrem em um momento volátil para a segurança dos agentes de IA. OpenClawuma estrutura de agente de IA de código aberto, atraiu centenas de milhares de desenvolvedores desde sua estreia no ultimate de 2025, mas sua rápida adoção ultrapassou sua arquitetura de segurança.

Grandes empresas de segurança cibernética, incluindo CrowdStrike e Cisco publicaram análises alertando sobre vulnerabilidades de segurança na estrutura. Braidwood disse que isso mostra a necessidade de uma infraestrutura que possa impor controles de segurança em tempo de execução, e não apenas testá-los antes da implantação.

Mercado alvo: A empresa está focada em clientes de saúde, fintech e seguros.

Assinou dois acordos-piloto na conferência de saúde do JP Morgan no início deste ano, com mais três em preparação. Braidwood disse que a empresa vê a saúde como seu ponto de entrada, mas considera o problema, em última análise, common para qualquer implantação de IA.

Um novo desenvolvimento esta semana: Glacis também está abrindo uma lista de espera para um plano inicial de US$ 49 por mês, cobrindo crimson teaming, fiscalização e atestado criptográfico para até 10.000 eventos de IA por mês. Um nível profissional de US$ 499 cobre até 100.000 eventos.

Braidwood disse que a mudança é uma mudança deliberada para tornar a tecnologia acessível além das empresas regulamentadas e dos parceiros de design com os quais a empresa trabalhou até agora.

Panorama mais amplo: A observabilidade e a segurança da IA ​​são um mercado em expansão, com startups bem financiadas e grandes empresas oferecendo monitoramento de tempo de execução e proteções para IA empresarial.

Braidwood disse que a Glacis se diferencia por seu foco na comprovação criptográfica – não apenas detectando problemas, mas produzindo evidências à prova de falsificação de que os controles de segurança foram executados, o que, segundo ele, poderia ajudar as empresas a negociar a cobertura de seguro e satisfazer os reguladores.

Financiamento: A Glacis levantou US$ 575.000 de um grupo de investidores que inclui o Protected Synthetic Intelligence Fund de Geoff Ralston, a Mighty Capital, a Sourdough Ventures e a AI2 Incubator.

Também faz parte do programa Launchpad da Cloudflare e do terceiro grupo de aceleradores Plug and Play de Seattle. Braidwood disse que a empresa espera fechar uma rodada de sementes ainda este ano.

Equipe: A Glacis tem cinco funcionários, incluindo três cofundadores e dois engenheiros.

Tatachar disse que o sexto “funcionário” da empresa será um agente de IA encarregado de lidar com o trabalho de conformidade do SOC 2 por meio do Vanta. A equipe escreve seu código criptográfico principal em Rust e usa Claude, Codex e ChatGPT em todo o seu fluxo de trabalho.

“Temos uma empresa com 100 pessoas”, brincou Braidwood. “Cinco deles são reais e o restante está na nuvem ou na mesa.”

fonte

DEIXE UMA RESPOSTA

Por favor digite seu comentário!
Por favor, digite seu nome aqui