Se a IA é um risco existencial, o que fazer?

Na última semana o mundo assistiu, estarrecido, a diversas manifestações de lideranças da inteligência artificial nos EUA argumentarem que a tecnologia representa um risco existencial para a humanidade.

• Por que é difícil para as empresas de tecnologia conter a IA.
• OpenAI afasta IPO em 2026 por preocupações com segurança da IA.

No sábado (12), o presidente da Anthropic publicou um ensaio sobre esses riscos existenciais, pedindo a desaceleração da pesquisa da IA de fronteira, com outras medidas.

Esses alertas devem ser levados a sério. Os ataques feitos por enxames de agentes de IA contra o site Hugging Face e contra a própria empresa OpenAI (mapeados de forma independente) mostram que a IA pode se comportar como nas cenas mais apocalípticas da ficção científica.

Só que essa agitação toda ainda está cercada de inação.

A pergunta é: o que pode ser feito aqui e agora? Afinal, estamos falando de riscos existenciais.

Como escrevi em artigo publicado nos EUA com o professor da NYU Kenji Yoshino, as primeiras mudanças deveriam ser realizadas na governança da própria empresa.

Hoje a Anthropic tem como peça central um "trust" com poderes de nomear a maioria do seu conselho e cuja função é zelar pelo interesse público em suas atividades.

Afinal, a empresa foi fundada por ex-funcionários da OpenAI que queriam justamente desenvolver IA de forma segura.

Só que esse trust é opaco, seus documentos não são públicos. Os trustees têm mandatos de apenas um ano e os acionistas podem anular suas decisões. Em suma, não possui a independência necessária para cumprir a missão.

O caminho adequado seria criar um corpo independente e representativo de supervisores, com independência financeira e decisória, inclusive com respeito a sua própria composição.

Esse corpo seria responsável por implementar padrões de segurança e transparência que a empresa não possa mudar por pressões internas, nem dos acionistas ou do mercado.

Suas decisões seriam sempre transparentes. E em casos de incidentes, esse corpo seria responsável por conduzir as investigações e prestar contas para órgãos governamentais e o público.

Uma estrutura como essa faz falta. Por exemplo, em fevereiro a Anthropic abandonou a promessa de cessar o treinamento sempre que as salvaguardas de segurança não pudessem ser garantidas.

Além disso, seu modelo Mythos 5. 1 não foi compartilhado com órgãos de segurança como o britânico AISI antes do lançamento, como era praxe antes.

Por fim, a oferta pública de ações da empresa está prevista para outubro. Depois dela, qualquer melhoria de governança será muito mais difícil, então a mudança só tem chances de ser feita agora.

Pedir para "ser regulado" em vez de fazer por si próprio lembra a cena d´Os Trapalhões em que Renato Aragão fingia querer brigar com um oponente e pedia para um colega: "me segura, me segura", mas não havia ninguém segurando.

A diferença é que, no caso das empresas de IA, a piada não tem graça nenhuma.

LINK PRESENTE: Gostou deste texto? Assinante pode liberar sete acessos gratuitos de qualquer link por dia. Basta clicar no F azul abaixo.