Anthropic bloqueia IA usada para vigiar dissidentes e minorias

A Anthropic afirma ter bloqueado operações de vigilância apoiadas por governos da China, do Irã e do Mali que utilizavam o Claude para monitorar dissidentes e minorias.

• Identificação de pessoas por contas em redes sociais.
• Monitoramento de dissidentes e minorias no exterior.
• Desenvolvimento de software para coleta de inteligência.
• Operações de vigilância apoiadas por governos.
• Pesquisadores da Anthropic fazem alerta assustador: IA pode levar à extinção humana.
• Anthropic: pesquisador deixa empresa por medo de IA “sair do controle”.
• Anthropic cede à pressão e libera IA Mythos 5 para testes de cibersegurança por órgãos europeus.

Detectadas entre janeiro e julho, as operações envolveram identificação de pessoas nas redes sociais e criação de software para coleta de inteligência. A empresa ainda interrompeu usos relacionados a armas, pesquisas biológicas suspeitas e golpes românticos online.

Claude entrou em operações de vigilância.

As campanhas tinham como alvo comunidades que, segundo a Anthropic, já são perseguidas historicamente por esses governos. A lista inclui ativistas pró-democracia de Hong Kong, comunidades tibetanas e opositores do regime iraniano que vivem no exterior.

Em um dos episódios, pessoas no Irã desenvolveram um método para identificar indivíduos por meio de suas contas em redes sociais. No Mali, um contratado que trabalhava para autoridades de segurança nacional usou o Claude “para projetar o software subjacente que permitiu a coleta de inteligência”.

Entre os usos identificados estavam.

A Anthropic afirma ter encerrado as operações depois de identificar o uso indevido de seus modelos.

Dados também foram usados para treinar outros modelos.

Desenvolvedores chineses foram acusados pela empresa de usar o Claude de forma enganosa. Eles geravam respostas para consultas de usuários e, ao mesmo tempo, “destilavam” esses dados para aprimorar seus próprios modelos.

Na prática, a destilação consiste em usar um modelo de IA para treinar outro. Segundo a Anthropic, desenvolvedores chineses já haviam sido acusados anteriormente de utilizar essa técnica sem autorização.

Pesquisas biológicas entraram na lista de bloqueios.

A Anthropic identificou ainda estudos relacionados ao vírus chikungunya, a uma cepa “altamente patogênica” de gripe aviária, a uma família de vírus que inclui varíola e mpox, além de venenos e outras toxinas.

A intenção dos envolvidos não estava clara, e a empresa não revelou suas identidades.

A Anthropic também bloqueou tentativas de desenvolver armas e criar golpes românticos online. Os episódios relatados pela empresa incluem diferentes formas de uso indevido de seus modelos, desde operações de vigilância até pesquisas cuja finalidade não estava clara.

Valdir Antonelli é jornalista com especialização em marketing digital e consumo.