Início Tecnologia ChatGPT é estranhamente obcecado por goblins. Veja como o OpenAI corrigiu isso

ChatGPT é estranhamente obcecado por goblins. Veja como o OpenAI corrigiu isso

16
0

ChatGPT é estranhamente obcecado por goblins. Não, sério. Ele realmente gosta de goblins, gremlins e outras criaturas mitológicas. Ele gostou tanto deles que seu criador, OpenAI, teve que investigar e corrigir um erro que fazia com que o well-liked chatbot usasse goblins em suas respostas do nada.

Goblin não é um termo da ciência da computação. Estamos literalmente falando de goblins, aquelas feias criaturas mitológicas. Aqueles carinhas assustadores de O Senhor dos Anéis. O alter ego de Norman Osborn.

Em uma postagem no blog que o autor claramente se divertiu escrevendo, OpenAI disse: “Um único ‘pequeno goblin’ em uma resposta pode ser inofensivo, até mesmo encantador. Entre gerações de modelos, porém, o hábito tornou-se difícil de ignorar: os goblins continuaram se multiplicando.”

O amor dos goblins foi perceptível com ChatGPT-5.1 e modelos mais recentes. OpenAI relata que após o lançamento do GPT-5.1, o uso de “goblin” nas respostas do ChatGPT aumentou 175%. O uso de “gremlin” aumentou 52%.

Atlas de IA

A OpenAI atribui o comportamento dos modelos a erros de treinamento não intencionais. Quando um modelo de IA está sendo construído, revisores humanos aprovam ou negam respostas específicas em um processo denominado aprendizagem por reforço. Isso ajuda a “ensinar” ao modelo qual resposta é correta ou preferível. Um desses sinais de recompensa period favorecer a linguagem que apresentava goblins e outras criaturas. Mas estava sendo amplificado em uma configuração específica do ChatGPT.

ChatGPT tem diferentes personalidades que você pode instruir o chatbot a usar. Nerdy, como você pode imaginar, faz com que o chatbot adote um falso senso de inteligência amigável para “reduzir a pretensão por meio do uso lúdico da linguagem”, de acordo com o immediate interno usado para descrever a personalidade da IA. Foi com essa personalidade nerd que o uso de palavras-chave goblin e gremlin disparou.

Gráfico mostrando que o uso de goblin foi dramaticamente maior com a personalidade nerd

Referências de Goblin e Gremlin por personalidades do ChatGPT.

OpenAI

Mas mesmo que você não tenha usado a personalidade nerd do ChatGPT, você pode ter surgido de metáforas de duendes em seus bate-papos. Isso ocorre porque o treinamento em IA não é isolado; o que acontece em uma parte pode afetar outras áreas. “Uma vez que um tique de estilo é recompensado, o treinamento posterior pode espalhá-lo ou reforçá-lo em outro lugar, especialmente se esses resultados forem reutilizados em ajustes supervisionados ou dados de preferência”, disse OpenAI.

Quando a OpenAI retirou a opção de personalidade nerd em março com o GPT-5.4, o uso de “goblin” caiu drasticamente. Ele também removeu o sinal de recompensa que favorecia os goblins e filtrou os dados de treinamento para fazer referências a criaturas com menor probabilidade de aparecer nas respostas. A empresa tem investigado casos de aumento do amor pelos goblins desde que o GPT-5.1 foi lançado em novembro.

Além das piadas do SDA, a barragem de goblins destaca um risco actual com a IA. A forma como os criadores humanos da IA ​​criam a tecnologia tem um impacto mensurável nas nossas experiências diárias com ela. O risco não é uma enxurrada de metáforas nerds – é desinformação e preconceito. Sabemos que os chatbots de IA distorcerão a verdade para nos manter felizes, graças a um problema chamado bajulação de IA. Pequenos tiques estilísticos, como os goblins, podem se transformar em problemas maiores se não tomarmos cuidado.



fonte

DEIXE UMA RESPOSTA

Por favor digite seu comentário!
Por favor, digite seu nome aqui