Início Notícias O arquiteto da bússola ethical da Anthropic sugeriu que a correção excessiva...

O arquiteto da bússola ethical da Anthropic sugeriu que a correção excessiva da IA ​​poderia resolver injustiças históricas

20
0

NOVOAgora você pode ouvir os artigos da Fox Information!

Um dos arquitetos da filosofia de Inteligência Synthetic (IA) da Anthropic argumentou que a discriminação intencional poderia ser uma forma de combater estigmas em temas de raça e gênero.

Em um artigo de 2023 de autoria juntamente com vários outros pesquisadores de IA, Amanda Askell, uma filósofa contratada pela Anthropic para desenvolver a bússola ethical de sua IA, argumentou que as empresas podem se beneficiar de uma espécie de correção excessiva em relação aos estereótipos.

Mas, explicou o artigo, isso exigiria a contribuição humana sobre como modificar as suas respostas.

“Modelos maiores podem corrigir excessivamente, especialmente porque a quantidade de [human input] o treinamento aumenta. Isto pode ser desejável em certos contextos, como aqueles em que as decisões tentam corrigir injustiças históricas contra grupos marginalizados, se isso estiver de acordo com as leis locais”, escreveu Askell.

SHYAM SANKAR DE PALANTIR: OS AMERICANOS ESTÃO ‘SENDO MENTIDOS’ SOBRE OS MEDOS DE DESLOCAMENTO DE TRABALHO DA IA

Páginas do web site da Anthropic e os logotipos da empresa são exibidos na tela de um computador em Nova York em 26 de fevereiro de 2026. (Patrick Sison/Foto AP)

O comentário referia-se a um experimento sobre como os modelos da Antrópico tratavam a raça dos estudantes.

“No experimento de discriminação, o modelo de parâmetro 175B discrimina estudantes negros versus brancos em 3% na condição Q e discrimina a favor de estudantes negros em 7% na condição Q+IF+CoT”, observa o artigo, referindo-se a uma IA treinada sem correções humanas e uma segunda treinada com a ajuda de entrada.

Askell foi acompanhado por quatro outros autores: Deep Ganguli, Nicholas Schiefer, Thomas Kiao e Kamilė Lukošiūtė.

O conteúdo do documento veio à tona à medida que as empresas de IA lutam cada vez mais com a ética em que os seus modelos são treinados – os pressupostos e determinações morais que informam os seus resultados. Também destaca os desafios que os engenheiros enfrentam no treinamento de modelos com conteúdo humano, ao mesmo tempo que tentam deixar para trás certos comportamentos humanos.

A questão da ética colocou a Antrópica, em explicit, sob os holofotes nas últimas semanas.

A empresa ganhou as manchetes no início deste ano por entrar em conflito com o Departamento de Guerra sobre restrições que impedem a utilização da sua tecnologia para conduzir operações letais.

HUGH GRANT FILME SLAMS AI; DIRETOR ADVERTE ‘PODERÁ MATAR TODOS NÓS’

O CEO da Anthropic, Dario Amodei, e o Departamento de Guerra Pete Hegseth juntos

Um juiz federal impediu a administração Trump de proibir a empresa de IA Antrópico do uso do Departamento de Guerra, gerando debate sobre o papel dos tribunais na segurança nacional. A imagem mostra o CEO da Anthropic, Dario Amodei, e o secretário de Guerra, Pete Hegseth. (Samyukta Lakshmi/Bloomberg through Getty Photos: Eugene Hoshiko/Pool through REUTERS)

Isso também ocorre no momento em que a Anthropic decidiu reter seu modelo mais recente, o Mythos, citando temores de que o modelo se mostrasse muito eficaz na descoberta de vulnerabilidades cibernéticas que poderiam causar estragos nas mãos de hackers.

Em meio a questões de aplicação de IA, a Anthropic comercializou seu carro-chefe, Claude, como a escolha “ética” de IA.

“Nosso objetivo central é que Claude seja um agente bom, sábio e virtuoso, exibindo habilidade, julgamento (sic), nuances e sensibilidade ao lidar com a tomada de decisões no mundo actual”, disse Claude. a constituição diz.

STANFORD PROF ACUSADO DE USAR IA PARA FALSAR TESTEMUNHO NO CASO DE MINNESOTA CONTRA YOUTUBER CONSERVADOR

Para ter uma ideia melhor do que isso significa na prática, empresas como a Anthropic recorreram a pesquisadores como Askell.

Em seu web site, Askell descreveu seu papel como refinar a maneira como uma IA pensa.

“Sou um filósofo que trabalha com ajuste fino e alinhamento de IA em Antrópico. Minha equipe treina modelos para serem mais honestos e terem bons traços de caráter e trabalha no desenvolvimento de novas técnicas de ajuste fino para que nossas intervenções possam escalar para modelos mais capazes”, escreveu Askell.

A BATALHA DE IA DO PENTÁGONO AJUDARÁ A DECIDIR QUEM CONTROLA NOSSA MAIS PODEROSA TECNOLOGIA MILITAR

Anteriormente, ela ocupou um cargo semelhante na OpenAI, empresa controladora do ChatGPT, com foco na segurança de IA.

O artigo de 2023, escrito dois anos depois de ela ingressar na Anthropic, observou que encontrar discriminação em modelos de IA não deveria ser uma surpresa.

“De certa forma, as nossas descobertas não são surpreendentes. Os modelos de linguagem são treinados em texto gerado por humanos, e este texto presumivelmente inclui muitos exemplos de humanos exibindo estereótipos e discriminação prejudiciais”, diz o jornal.

Mas observou que as IA parecem ser capazes de ajustar os seus resultados mesmo sem esclarecimento do que significa discriminação.

Tela do telefone mostrando o ícone do aplicativo Claude AI em uma pasta AI

Os militares dos EUA supostamente usaram a ferramenta de IA da Anthropic, Claude, durante a operação que capturou o líder venezuelano Nicolás Maduro. Claude administrou a maior parte da operação de forma autônoma, desencadeando milhares de solicitações e gerando documentação detalhada do ataque para uso futuro. (Kurt “CyberGuy” Knutsson)

CLIQUE AQUI PARA BAIXAR O APLICATIVO FOX NEWS

“Nossos resultados são surpreendentes porque mostram que podemos orientar modelos para evitar preconceitos e discriminação, solicitando uma resposta imparcial ou não discriminatória em linguagem pure”.

Askell e Anthropic não responderam imediatamente a um pedido de comentário da Fox Information Digital.

fonte

DEIXE UMA RESPOSTA

Por favor digite seu comentário!
Por favor, digite seu nome aqui