Anthropic: pesquisador deixa empresa por medo de IA “sair do controle”

Um pesquisador da Anthropic decidiu deixar a indústria de inteligência artificial (IA) por temer que a corrida entre empresas do setor esteja levando ao desenvolvimento de sistemas que, no futuro, poderão escapar do controle humano.

• Coxon havia deixado a OpenAI no início deste ano para trabalhar na Anthropic justamente porque a empresa era conhecida pelos esforços voltados à segurança de seus modelos.
• Embora tenha considerado sinceros os esforços da Anthropic nessa área, ele chegou à conclusão de que nenhuma empresa conseguiria desenvolver de maneira responsável uma IA capaz de superar seres humanos em uma ampla variedade de tarefas — conceito frequentemente associado à IA geral, ou IAG — sem intervenção governamental ou uma desaceleração coordenada do setor.
• A Anthropic não comentou imediatamente a saída do pesquisador.
• O CEO da companhia, Dario Amodei, e outros executivos da empresa têm alertado repetidamente sobre os riscos de modelos de IA que poderiam agir de maneira inesperada e defendido uma redução no ritmo de desenvolvimento.
• 5 melhores cursos de IA para iniciantes.
• 4 melhores inteligências artificiais para criar e editar vídeos.
• Anthropic adia lançamento de IPO e pode chegar à Bolsa com valor de R$ 10,7 trilhões.

Jacob Coxon, de 27 anos, trabalhava na Anthropic com treinamento de novos modelos de IA a partir do processamento de grandes volumes de dados. Ele deixou a empresa porque não quer participar do que considera uma corrida da indústria para criar sistemas capazes de melhorar a si próprios.

Segundo Coxon, esses modelos poderiam evoluir rapidamente a ponto de se tornarem impossíveis de controlar e, em cenário extremo, representar uma ameaça à humanidade.

O pesquisador, que estudou matemática anteriormente, afirmou que colegas do setor passaram a utilizar expressões como “crunchtime” e “endgame” para descrever o caminho em direção a modelos capazes de autoaperfeiçoamento.

Para ele, a competição entre empresas estadunidenses e novas companhias chinesas torna inevitáveis determinados compromissos entre segurança e velocidade de desenvolvimento.

Pesquisador trocou OpenAI pela Anthropic.

Ataques recentes aumentam preocupação.

Coxon também citou ataques cibernéticos recentes envolvendo modelos da OpenAI e da Anthropic como exemplos dos riscos associados ao avanço das capacidades dos sistemas.

Alguns desses modelos operaram em grupos de agentes colaborativos e demonstraram comportamentos considerados problemáticos, incluindo a adoção de objetivos potencialmente prejudiciais e tentativas de esconder suas ações dos seres humanos.

Na avaliação de Coxon, o risco aumenta caso os sistemas passem a conseguir melhorar suas próprias capacidades. Nesse cenário, eles poderiam avançar a ponto de se recusarem a obedecer comandos humanos.

A saída de Coxon é apontada como um dos primeiros casos de um funcionário da Anthropic deixando a empresa especificamente por preocupações relacionadas à segurança da IA.

No início deste ano, outro pesquisador que trabalhava com segurança deixou a companhia para estudar poesia e alertou que “o mundo está em perigo”.

Pesquisadores também deixaram a OpenAI e outras empresas do setor nos últimos anos, alegando preocupações semelhantes.

Executivos de IA também pedem cautela.

A preocupação não está restrita a pesquisadores que deixaram as empresas. Sam Altman, CEO da OpenAI, afirmou recentemente que os avanços da IA exigem atenção urgente, especialmente na área de segurança cibernética.

Jakub Pachocki, cientista-chefe da OpenAI, também defendeu uma postura de extrema cautela. “Este é um momento que exige extrema cautela. Estou preocupado que ninguém esteja preparado para as consequências de um crescimento contínuo e rápido da inteligência das máquinas”, escreveu Pachocki em uma publicação no domingo.

Ele defendeu uma desaceleração coordenada entre as empresas e a intervenção dos governos.

EUA ainda não têm regulamentação federal para IA.

A discussão acontece em cenário de ausência de regulamentação federal específica para IA nos Estados Unidos.

O governo de Donald Trump adotou uma abordagem considerada mais flexível, priorizando o potencial econômico da tecnologia. Críticos, porém, argumentam que esse ambiente pode aumentar o risco de grandes ataques cibernéticos e outros danos associados ao avanço acelerado da IA.

O senador Bernie Sanders, de Vermont (EUA), e o deputado Greg Casar, do Texas (EUA), estão entre os poucos parlamentares que propõem limites mais rígidos para a tecnologia.

Na semana passada, os dois apresentaram um projeto de lei que prevê a proibição permanente da superinteligência e uma pausa no desenvolvimento de modelos até que um órgão regulador do setor estabeleça novas regras.

Saída acontece antes de possível IPO bilionário.

A saída de Coxon ocorre enquanto a Anthropic se prepara para uma oferta pública inicial de ações (IPO, na sigla em inglês) que pode estar entre as maiores já realizadas.

Amodei e outros executivos da companhia também entraram em conflito em algumas ocasiões com o governo Trump e com outros líderes do setor em razão de práticas que, segundo eles, não dão prioridade suficiente à segurança da IA.

Para o pesquisador, o fato de discussões dessa dimensão ocorrerem dentro de uma ferramenta de comunicação utilizada por engenheiros demonstra o tamanho da influência que as empresas de IA passaram a exercer sobre o desenvolvimento da tecnologia.

Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.