Anthropic coloca avaliadores externos dentro da empresa para testar a segurança dos seus modelos de IA

A Anthropic escolheu a Accenture como sua primeira avaliadora externa incorporada (“embedded evaluator”), em medida concreta para começar a colocar em prática a proposta do CEO, Dario Amodei, de desacelerar o ritmo de desenvolvimento dos sistemas de inteligência artificial (IA) mais avançados.

• Claude.AI: como usar inteligência artificial.
• Claude agora reúne conversa e execução de tarefas em um só lugar; veja o que muda na interface.
• Anthropic monta laboratório de biologia e amplia uso de IA em pesquisas médicas e científicas.
• Amodei apresentou seu plano de três etapas para conter o ritmo de avanço dos sistemas mais sofisticados de IA em meio ao aumento das discussões sobre os riscos associados ao desenvolvimento acelerado da tecnologia.
• A proposta recebeu apoio de alguns executivos do setor, incluindo o CEO da OpenAI, Sam Altman, e Elon Musk, CEO da Tesla e da SpaceX. Outros adotaram posição diferente. Jensen Huang, CEO da Nvidia, rejeitou as preocupações e argumentou que não haveria necessidade de novas regulamentações.
• A iniciativa também levantou questionamentos sobre como a proposta poderia funcionar na prática, especialmente enquanto a Anthropic se prepara para uma possível abertura de capital.

A parceria permitirá que especialistas da Faculty, divisão de IA da Accenture, trabalhem dentro da Anthropic para avaliar os mecanismos de segurança da empresa.

A iniciativa prevê testes de salvaguardas, exercícios de red team e análises para verificar se os modelos de IA estão se comportando de acordo com valores humanos.

A Anthropic, porém, afirmou que, devido à importância e à urgência do trabalho, financiará diretamente as atividades da Accenture.

A empresa disse que, no longo prazo, a expectativa é que esse tipo de trabalho seja financiado por recursos compartilhados ou governamentais, conforme previsto no Advanced AI Framework apresentado pela Anthropic em junho.

Como essas estruturas ainda não existem, a companhia pretende trabalhar com diferentes avaliadores e modelos de financiamento.

Avaliadores terão acesso interno à Anthropic.

A proposta de Amodei prevê que avaliadores independentes recebam acesso em nível de funcionário às empresas de IA. O objetivo é permitir que esses especialistas verifiquem diretamente as práticas de segurança e comuniquem incidentes.

Ao anunciar sua proposta, Amodei afirmou que a Anthropic se comprometeria “unilateralmente” com essa primeira etapa e incentivou outras empresas do setor a fazerem o mesmo.

A parceria com a Accenture não será exclusiva. A Anthropic afirmou que também está conversando com a organização de pesquisa sem fins lucrativos METR e com outras entidades que poderão participar do processo.

A empresa ressaltou, porém, que continuará sendo responsável pela segurança de seus modelos. A presença de avaliadores externos dentro da companhia não reduzirá essa responsabilidade.

Proposta de Amodei gerou reação no setor.

Com a entrada da Accenture, a companhia dá o primeiro passo concreto para transformar uma das principais ideias do plano de Amodei em uma estrutura operacional: permitir que uma organização externa tenha acesso direto à empresa para avaliar seus sistemas de segurança e identificar possíveis problemas antes que eles se agravem.

Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.