Roblox está mudando a segurança on-line com IA

Se você já se perguntou como as plataformas acompanham milhões de usuários ao mesmo tempo, é aqui que as coisas ficam reais. Roblox tem mais de 144 milhões de usuários diários. Essa escala cria um enorme desafio. O conteúdo prejudicial nem sempre aparece de forma óbvia. Às vezes, é a combinação de coisas que cria o problema. Agora, a empresa está lançando um novo sistema projetado para capturar exatamente isso. Mas primeiro, ajuda entender o que Roblox realmente é.

Inscreva-se para receber meu relatório CyberGuy GRATUITO
Receba minhas melhores dicas técnicas, alertas de segurança urgentes e ofertas exclusivas diretamente em sua caixa de entrada. Além disso, você terá acesso instantâneo ao meu Final Rip-off Survival Information – gratuitamente ao ingressar no meu CYBERGUY.COM boletim informativo

ALIEN ILEGAL MEXICANO SUPOSTAMENTE USOU MOEDA ROBLOX PARA SOLICITAR CONTEÚDO EXPLÍCITO DE CRIANÇAS MENORES DE 10 ANOS

O que é Roblox

Roblox é uma plataforma on-line onde as pessoas podem criar, compartilhar e jogar jogos criados por outros usuários. Em vez de ser um jogo único, é um enorme ecossistema de experiências geradas pelo usuário que vão desde simples pistas de obstáculos até mundos virtuais complexos.

O que torna o Roblox diferente é quanto controle os usuários têm. Os jogadores não estão apenas consumindo conteúdo. Eles estão constantemente criando em tempo actual por meio de avatares, texto e ambientes interativos. Essa criação constante é exatamente o que torna a moderação mais complexa.

Uma maneira mais inteligente de detectar conteúdo prejudicial

A maioria das ferramentas de moderação analisa uma coisa de cada vez. Uma mensagem. Uma imagem. Um avatar. Essa abordagem pode perder o panorama geral. Falando exclusivamente com CyberGuy, Matt Kaufman, diretor de segurança da Roblox, explicou a mudança claramente:

“Já moderamos todos os objetos em um mundo digital, mas a forma como eles se reúnem e interagem tem sido um desafio há muito tempo. Nosso novo sistema de moderação multimodal em tempo actual analisa uma cena inteira simultaneamente do ponto de vista do usuário – incluindo objetos 3D, avatares e texto – capturando todos esses elementos juntos em um momento específico para avaliar se a combinação de tipos de conteúdo viola nossas regras.”

Isso é chamado de moderação multimodal. Em vez de analisar as peças isoladamente, analisa tudo junto em tempo actual.

Por que os sistemas mais antigos não tinham o problema

Aqui está o problema que as plataformas enfrentam há anos. Algo pode parecer inofensivo por si só. Mas quando combinado com outros elementos, pode tornar-se prejudicial ou violar regras.

Kaufman coloca desta forma: “Os sistemas tradicionais de moderação de IA, que moderam um objeto de cada vez, podem carecer de contexto e perder combinações que poderiam ser problemáticas de uma forma que os itens individuais não são. Este modelo entende a relação entre diferentes objetos e como eles se unem para capturar violações diferenciadas que os filtros padrão podem perder.”

Essa falta de contexto é exatamente o que os malfeitores têm explorado.

O que esta nova IA realmente captura

Este sistema se concentra em cenários que anteriormente passaram despercebidos. Pense em jogos onde os usuários podem desenhar livremente ou personalizar avatares. Um desenho por si só pode parecer bom. Um avatar sozinho pode parecer bom. Mas juntos, eles poderiam criar algo inapropriado.

Kaufman explica como o sistema lida com isso: “O sistema pode detectar combinações de objetos que podem violar os padrões da nossa comunidade. Por exemplo, alguns jogos permitem desenhos de forma livre. Este sistema de moderação multimodal em tempo actual analisaria o desenho, o avatar e a configuração 3D juntos e os avaliaria holisticamente, a fim de detectar e desligar servidores com conteúdo violador.”

No momento, o lançamento já tem como alvo avatares problemáticos e desenhos inadequados.

LOUISIANA PROCESSA PLATAFORMA DE JOGOS ONLINE ROBLOX POR SUPOSTAMENTE HABILITAR CRIANÇAS PREDADORAS

Funcionários da Roblox dizem que o novo sistema visa proteger proativamente as crianças, ao mesmo tempo que mantém a jogabilidade para usuários compatíveis. (Riccardo Milani/Hans Lucas/AFP by way of Getty Pictures)

A escala é maior do que você pensa

Este não é um pequeno ajuste. Está operando em grande escala. Roblox diz que já está desligando cerca de 5.000 servidores por dia por violações.

Kaufman diz que isso reflete a realidade da plataforma: “Com 144 milhões de usuários conectando-se e criando no Roblox todos os dias, nossos sistemas de segurança devem ser tão ágeis e dinâmicos quanto nossos próprios criadores”.

Ele também acrescenta uma importante verificação da realidade: “Nenhum sistema é infalível contra maus atores, por isso estamos comprometidos em fazer o nosso melhor para ficar à frente daqueles que tentam contornar os protocolos de segurança, e estamos trabalhando para escalar esse novo sistema multimodal para capturar e monitorar 100% do tempo de jogo”.

O que muda para os usuários comuns do Roblox

Se você ou seus filhos usam Roblox, este sistema provavelmente funcionará em segundo plano sem você perceber. Mas muda a rapidez com que o comportamento prejudicial é interrompido.

“Quando um comportamento problemático ocorre repetidamente em uma única instância de jogo, este novo sistema é projetado para detectar e desligar automaticamente esses servidores específicos em tempo actual, reduzindo bastante o número de usuários que podem estar expostos a esse comportamento”.

Essa última parte é importante. Em vez de encerrar um jogo inteiro, ele visa apenas o problema.

“Ao visar apenas o servidor violador e não toda a experiência, podemos ajudar a evitar que as violações alcancem mais utilizadores, ao mesmo tempo que permitimos que jogadores bem-intencionados continuem as suas sessões sem interrupções.”

O que isso significa para os pais

Para os pais, esta é uma grande mudança em direção à segurança proativa. Em vez de aguardar relatórios, o sistema atua em tempo actual.

Kaufman explica: “Queremos que os pais saibam que não estamos apenas reagindo aos relatórios – estamos construindo proativamente alguns dos sistemas de moderação de IA mais sofisticados do mundo para ajudar a proteger seus filhos em tempo actual”.

Há também uma importante camada de proteção durante o jogo: “Agora podemos avaliar uma combinação de texto problemático, desenhos 3D ou movimentos de avatar em tempo actual e desligar esse servidor específico imediatamente – muitas vezes antes que uma criança o encontre.”

Ainda assim, Roblox salienta que a tecnologia por si só não é suficiente. “Nenhum sistema é perfeito e incentivamos os pais a conversar com os filhos sobre segurança on-line”.

Maneiras pelas quais os pais podem ajudar a manter as crianças seguras

Mesmo com moderação avançada de IA, alguns passos simples podem ajudá-lo a estar um passo à frente e a manter seu filho mais seguro on-line.

1) Fale sobre o que seu filho está fazendo on-line

Pergunte quais jogos eles jogam e com quem interagem para que você permaneça envolvido.

2) Incentive a relatar qualquer coisa que pareça estranha

Lembre seu filho de denunciar comportamentos que pareçam inadequados ou desconfortáveis.

3) Verifique as configurações de privacidade e segurança juntos

Revise as configurações da conta para limitar quem pode conversar ou interagir com seu filho.

4) Estabeleça limites claros para o jogo

Mix as regras sobre o tempo de uso e quais tipos de experiências são permitidas.

O CEO DA ROBLOX RESPONDE AO EXAME SOBRE A SEGURANÇA INFANTIL: ESTABELECENDO O ‘PADRÃO OURO’ PARA SEGURANÇA

Roblox visa quebrar regras diferenciadas, analisando avatares, textos e ambientes juntos, em vez de isoladamente. (JasonDoiy/Getty Pictures)

Como Roblox evita falsos positivos

Uma preocupação com qualquer sistema de IA é errar. Roblox diz que está trabalhando ativamente para melhorar a precisão ao longo do tempo.

“Temos um ciclo de avaliação contínua configurado para medir falsos positivos do sistema de moderação multimodal e estamos treinando o sistema com esse suggestions para ajudá-lo a capturar esses tipos de exemplos no futuro”.

O suggestions do usuário também desempenha um papel. “Nossos criadores e usuários são frequentemente aqueles que identificam novas tendências emergentes… Este tipo de relatório é a maneira mais eficaz para os usuários ajudarem a proteger a comunidade.”

IA mais supervisão humana ainda são importantes

Mesmo com a automação, os humanos ainda estão envolvidos.”Já usamos uma combinação de IA e uma equipe de especialistas em segurança para revisar o conteúdo carregado na plataforma antes mesmo de ser mostrado aos usuários.”

O novo sistema adiciona outra camada, não uma substituição. “Este sistema de moderação multimodal em tempo actual é uma camada adicional e é totalmente automatizado na avaliação de toda a cena.”

E quanto à privacidade e justiça?

Qualquer sistema tão poderoso levanta questões sobre privacidade e excesso. Roblox diz que está limitando a forma como os dados são usados: “Nossos sistemas e processos são projetados para que os dados coletados para segurança sejam usados ​​apenas para fins de segurança”.

No que diz respeito à justiça, a empresa aponta para a formação contínua e a transparência: “Estamos focados em garantir que os nossos sistemas de segurança são altamente eficazes e justos”.

Eles também estão dando mais visibilidade aos criadores: “Introduzimos um novo gráfico no painel do criador que permite aos desenvolvedores ver exatamente quantos servidores de seus jogos foram desligados”.

Para onde isso vai chegar a seguir

Este sistema está apenas começando. Um foco futuro é detectar recriações de eventos do mundo actual que podem ultrapassar os limites.

Kaufman explica por que o contexto é importante aqui: “Os filtros padrão podem ver um edifício específico ou uma linha de texto isoladamente e não reconhecer uma violação. No entanto, a moderação multimodal em tempo actual pode compreender a relação entre um ambiente, a forma como os avatares interagem nele e o bate-papo que o acompanha.”

Há também um esforço para ir além do encerramento de servidores: “Estamos a trabalhar em formas de identificar maus atores específicos para que possamos removê-los sem perturbar a experiência da grande maioria dos nossos jogadores bem-intencionados.”

Principais conclusões de Kurt

Esta é uma grande mudança na forma como as plataformas on-line abordam a segurança. Em vez de reagir depois que algo dá errado, Roblox está tentando impedir comportamentos prejudiciais antes que a maioria dos usuários os perceba. Essa é uma grande promessa, especialmente nesta escala. Ao mesmo tempo, destaca uma questão mais profunda sobre o futuro dos espaços on-line. À medida que a IA se torna mais envolvida na moderação do comportamento, o equilíbrio entre segurança, justiça e liberdade só se tornará mais complicado.

Portanto, aqui está a questão sobre a qual vale a pena pensar: se a IA está agora decidindo o que ultrapassa os limites em tempo actual, quanto controle nos sentimos confortáveis ​​em entregar a ela? Informe-nos escrevendo para nós em Cyberguy.com

CLIQUE AQUI PARA BAIXAR O APLICATIVO FOX NEWS

Inscreva-se para receber meu relatório CyberGuy GRATUITO
Receba minhas melhores dicas técnicas, alertas de segurança urgentes e ofertas exclusivas diretamente em sua caixa de entrada. Além disso, você terá acesso instantâneo ao meu Final Rip-off Survival Information – gratuitamente ao ingressar no meu CYBERGUY.COM boletim informativo

Direitos autorais 2026 CyberGuy.com. Todos os direitos reservados.