Perdoe-me por começando com um clichê, um jargão financeiro que recentemente entrou no léxico tecnológico, mas infelizmente devo falar sobre “fossos”. Popularizada há décadas por Warren Buffett para se referir à vantagem competitiva de uma empresa, a palavra chegou às apresentações do Vale do Silício quando um memorando supostamente vazou do Googleintitulado “Não temos fosso e o OpenAI também não”, temia que a IA de código aberto pilhasse o castelo da Massive Tech.
Alguns anos depois, as muralhas do castelo permanecem seguras. Além de um breve ataque de pânico quando o DeepSeek apareceu pela primeira vez, os modelos de IA de código aberto não superaram muito os modelos proprietários. Ainda assim, nenhum dos laboratórios de fronteira – OpenAI, Anthropic, Google – tem um fosso digno de nota.
A empresa que tem fosso é a Nvidia. O CEO Jensen Huang chamou-o de seu “tesouro” mais precioso. Não é, como você poderia supor para uma empresa de chips, uma peça de {hardware}. É algo chamado CUDA. O que parece ser um composto químico proibido pela FDA pode ser o único verdadeiro fosso na IA.
CUDA tecnicamente está para Compute Unified System Structure, mas muito parecido laser ou mergulhoninguém se preocupa em expandir a sigla; nós apenas dizemos “KOO-duh”. Então, para que serve esse tesouro tão importante? Se for forçado a dar uma resposta de uma palavra: paralelização.
Aqui está um exemplo simples. Digamos que encarregamos uma máquina de preencher uma tabuada de multiplicação 9×9. Usando um computador com um único núcleo, todas as 81 operações são executadas devidamente, uma por uma. Mas uma GPU com nove núcleos pode atribuir tarefas de modo que cada núcleo ocupe uma coluna diferente – uma de 1×1 a 1×9, outra de 2×1 a 2×9 e assim por diante – para um ganho de velocidade nove vezes maior. As GPUs modernas podem ser ainda mais inteligentes. Por exemplo, se forem programados para reconhecer a comutatividade – 7×9 = 9×7 – eles podem evitar trabalho duplicado, reduzindo 81 operações para 45, reduzindo quase pela metade a carga de trabalho. Quando uma única execução de treinamento custa cem milhões de dólares, cada otimização conta.
As GPUs da Nvidia foram originalmente construídas para renderizar gráficos para videogames. No início dos anos 2000, um estudante de doutorado de Stanford chamado Ian Buck, que começou a trabalhar com GPUs como jogador, percebeu que sua arquitetura poderia ser reaproveitada para computação geral de alto desempenho. Ele criou uma linguagem de programação chamada Brook, foi contratado pela Nvidia e, com John Nickolls, liderou o desenvolvimento do CUDA. Se a IA inaugurar a period de uma subclasse permanente de colarinho branco e de armas autônomas, saiba que tudo seria porque alguém em algum lugar jogando Ruína pensei que o escroto de um demônio deveria balançar a 60 quadros por segundo.
CUDA não é uma linguagem de programação em si, mas uma “plataforma”. Eu uso essa palavra evasiva porque, assim como o The New York Instances é um jornal que também é uma empresa de jogos, CUDA se tornou, ao longo dos anos, um pacote aninhado de bibliotecas de software program para IA. Cada função reduz nanossegundos de operações matemáticas individuais – somadas, elas fazem as GPUs, no jargão da indústria, funcionarem brr.
Gráficos modernos cartão não é apenas uma placa de circuito repleta de chips, memória e ventiladores. É uma confecção elaborada de hierarquias de cache e unidades especializadas chamadas “núcleos tensores” e “multiprocessadores de streaming”. Nesse sentido, o que as empresas de chips vendem é como uma cozinha profissional, e mais núcleos equivalem a mais estações de grelhar. Mas mesmo uma cozinha com 30 estações de grelhar não funcionará mais rápido sem um chefe de cozinha competente que atribua tarefas habilmente – como o CUDA faz para os núcleos da GPU.
Para estender a metáfora, bibliotecas CUDA ajustadas manualmente e otimizadas para uma operação de matriz são equivalentes a ferramentas de cozinha projetadas para um único trabalho e nada mais – um descaroçador de cereja, um descascador de camarão – que são indulgências para cozinheiros domésticos, mas não se você tiver 10.000 tripas de camarão para arrancar. O que nos traz de volta ao DeepSeek. Seus engenheiros foram abaixo dessa já profunda camada de abstração para trabalhar diretamente em PTX, uma espécie de linguagem meeting para GPUs Nvidia. Digamos que a tarefa seja descascar alho. Uma GPU não otimizada diria: “Descasque a pele com as unhas”. CUDA pode instruir: “Quebre o cravo com a parte plana de uma faca.” O PTX permite ditar todas as subinstruções: “Levante a lâmina 2,35 polegadas acima da tábua de corte, deixe-a paralela ao equador do cravo e golpeie para baixo com a palma da mão com uma força de 36,2 newtons.”
