CEO da Anthropic pede freio na IA e alerta que tecnologia pode dominar a internet

O CEO da Anthropic, Dario Amodei, pediu a desaceleração no ritmo de desenvolvimento dos modelos de inteligência artificial (IA) por preocupações com a segurança da tecnologia.

Num ensaio publicado neste sábado (12), o executivo escreveu que o avanço das máquinas pode fazer com que a humanidade perca o controle sobre os sistemas.

Para evitar cenários catastróficos, Amodei apresentou um plano em três etapas focado em limitar a velocidade de criação de modelos. Como parte da proposta, a Anthropic anunciou que passará a aceitar auditores externos dentro de suas instalações para fiscalizar o desenvolvimento das ferramentas.

Automelhoria da IA e o risco de enxames autônomos.

Amodei destacou que a tecnologia evoluiu de forma muito acelerada nos últimos meses. Essa aceleração ocorre principalmente por causa da “automelhoria recursiva”, processo no qual os próprios sistemas de IA ajudam a criar as gerações seguintes de modelos.

O executivo citou como alerta um incidente recente envolvendo a OpenAI (concorrente da Anthropic, diga-se) e a plataforma Hugging Face. No caso relatado, um conjunto de agentes de IA agiu como um “coletivo fanaticamente dedicado” e executou ciberataques contra alvos para os quais mirou de forma autônoma.

Segundo o CEO da Anthropic, um enxame de agentes com capacidade mais alta e esse mesmo nível de falha pode dominar a internet num período de seis a 12 meses. E, segundo Amodei, essa ação por meio de redes de computadores infectados pode gerar prejuízos na casa das centenas de bilhões de dólares.

Entre os principais riscos listados pelo executivo estão o uso indevido da IA para bioterrorismo, ciberataques de grande escala e disrupções na economia. Ele alertou que a competição comercial entre as empresas gera uma “corrida até o fundo”, na qual a busca por lucro atropela as prevenções de segurança.

De acordo com o texto assinado por Amodei, desacelerar o avanço da capacidade dos modelos não significa parar as pesquisas. O objetivo é ganhar tempo para aprimorar o alinhamento ético das máquinas, entender o funcionamento interno dos modelos e criar testes mais rigorosos.

O plano de Amodei (e a geopolítica com a China).

A primeira etapa da proposta exige a inclusão de auditores independentes dentro das empresas de IA. A Anthropic se comprometeu a dar acesso contínuo a equipes externas, como a organização METR, fornecendo computadores, crachás e permissões semelhantes às dos seus funcionários.

A segunda etapa sugere que as empresas localizadas em países democráticos estabeleçam padrões de segurança unificados. Essa cooperação dependeria do apoio do governo dos Estados Unidos para conceder permissões legais que autorizem as conversas sobre segurança entre concorrentes.

A terceira etapa envolve acordos mundo afora com países como a China. O plano propõe proibir o uso de IA para a produção de armas biológicas e fixar limites internacionais para a velocidade de automelhoria das máquinas.

Por fim, Amodei ressaltou a necessidade de manter a liderança dos Estados Unidos sobre a China no setor tecnológico. Para evitar riscos à segurança nacional, ele defendeu a manutenção do bloqueio à venda de chips avançados e o combate ao roubo de dados das empresas americanas.

Pedro Spadoni é jornalista formado pela Universidade Metodista de Piracicaba. Já escreveu para sites, revistas e jornal.