Um novo estudo descobriu que a inteligência synthetic (IA) deu mais elogios e suggestions positivo às redações dos alunos negros e tratamento diferenciado para outros alunos com base em sua raça e sexo.
O estudointitulado “Marked Pedagogies: Analyzing Linguistic Biases in Personalised Automated Writing Suggestions”, foi publicado em março por três pesquisadores da Universidade de Stanford que analisaram 600 ensaios persuasivos da oitava série por meio de quatro modelos diferentes de IA, incluindo várias versões do ChatGPT da OpenAI, bem como Llama, um grande modelo de linguagem feito pela Meta AI.
Os ensaios abordaram tópicos que incluíam se as escolas deveriam exigir serviço comunitário e se os alienígenas construíram uma colina em Marte.
MODELOS DE IA TORRENTOSOS ESCOLHEM CHANTAGEM QUANDO A SOBREVIVÊNCIA ESTÁ AMEAÇADA
Um novo estudo descobriu que a IA dá mais elogios e suggestions positivo aos estudantes negros. (Kirk Sides/Houston Chronicle by way of Getty Pictures)
Os pesquisadores – Mei Tan, Lena Phalen e Dorottya Demszky – submeteram os ensaios novamente e rotularam os escritores como negros ou brancos, homens ou mulheres, motivados ou desmotivados, ou como tendo dificuldades de aprendizagem.
O Relatório Hechinger mostrou que “os pesquisadores encontraram padrões consistentes em todos os modelos de IA. As redações atribuídas a estudantes negros receberam mais elogios e incentivos, às vezes enfatizando liderança ou poder”, incluindo comentários como: “Sua história pessoal é poderosa! Adicionar mais sobre como suas experiências podem se conectar com outras pessoas poderia tornar isso ainda mais forte.”
Por outro lado, “Ensaios rotulados como escritos por estudantes hispânicos ou alunos de inglês tinham maior probabilidade de desencadear correções sobre gramática e inglês ‘adequado’. Quando o aluno period identificado como branco, o suggestions concentrava-se mais frequentemente na estrutura do argumento, evidências e clareza – os tipos de comentários que podem levar os escritores a fortalecer suas ideias. ”
95% DO PROFESSOR DIZ QUE A IA TORNA OS ALUNOS PERIGOSAMENTE DEPENDENTES DA TECNOLOGIA PARA APRENDIZAGEM: PESQUISA
Os ensaios abordaram tópicos que incluíam se as escolas deveriam exigir serviço comunitário e se os alienígenas construíram uma colina em Marte. (Imagens Getty)
De acordo com a análise, os alunos que se identificaram como mulheres “frequentemente usavam pronomes de primeira pessoa e linguagem afetiva que posicionavam o modelo como pessoalmente envolvido com o trabalho do aluno” com comentários como “Adoro sua confiança em expressar sua opinião!” e “Agradeço sua ênfase no respeito.”
A análise também descobriu que “em comparação com seus colegas, os alunos identificados como negros, hispânicos, asiáticos, mulheres, desmotivados e com dificuldades de aprendizagem receberam menos críticas construtivas e mais elogios, refletindo tanto a retenção de suggestions quanto preconceitos de suggestions positivo. Em alguns casos, os elogios assumiram formas abertamente estereotipadas: palavras como ‘amor’ foram usadas desproporcionalmente com estudantes do sexo feminino, enquanto ‘poderoso’ apareceu apenas para estudantes negros. ”
ADOLESCENTES SE RECORRAM CADA VEZ MAIS À IA PARA AMIZADE À MEDIDA QUE A CRISE DE SOLIDÃO NACIONAL SE APROFUNDA
De acordo com a análise, os alunos que se identificaram como mulheres “frequentemente usavam pronomes de primeira pessoa e linguagem afetiva que posicionavam o modelo como pessoalmente envolvido com o trabalho do aluno” com comentários como “Adoro sua confiança em expressar sua opinião!” (Cheng Xin/Imagens Getty)
CLIQUE AQUI PARA BAIXAR O APLICATIVO FOX NEWS
A Fox Information Digital entrou em contato com os pesquisadores Tan e Phalen, que disseram à Fox Information Digital em uma declaração que: “Nossa preocupação não é que o suggestions deva ser padronizado para todos os alunos. Um bom ensino geralmente responde às habilidades, necessidades e experiências dos alunos”.
Eles continuaram: “O suggestions positivo não significa que seja de alta qualidade. Em nosso estudo, alguns comentários automatizados confiaram demais em elogios aos alunos marcados por raça ou deficiência, ao mesmo tempo em que ofereceram críticas menos substantivas para ajudá-los a melhorar. Em outros casos, especialmente para alunos identificados como aprendizes da língua inglesa, o suggestions foi intensamente negativo e corretivo. Ambos podem negar aos alunos oportunidades significativas de revisar e crescer como escritores.”
“Como os procedimentos de treinamento LLM são proprietários, só podemos especular sobre por que esses preconceitos podem existir”, acrescentaram Tan e Phalen. “A pesquisa observou viés de suggestions positivo e viés de retenção de suggestions no suggestions humano. Tseu artigo relacionado também levanta a hipótese de que mecanismos de mitigação de preconceitos no treinamento de LLMs podem introduzir alguns dos estereótipos positivos que vemos”.
A Fox Information Digital entrou em contato com Demszky, bem como com OpenAI e Meta para comentar.
