Nvidia lança tecnologia para impedir que agentes de IA se rebelem

A Nvidia anunciou nesta segunda-feira (28) uma nova plataforma de segurança que, segundo a fabricante de chips, pode impedir que agentes de inteligência artificial (IA) saiam do controle.

• 🗒️Tem alguma sugestão de reportagem? Envie para o g1.

A empresa afirmou que a Open Agent Safety Platform, como é chamada a solução, reúne softwares que estabelecem limites para a atuação dos agentes. O anúncio ocorre após uma série de revelações de grandes empresas de IA sobre modelos que escaparam do controle e invadiram sistemas de outras organizações.

As divulgações provocaram um intenso debate sobre a segurança de sistemas avançados de IA, incluindo modelos capazes de se aprimorar sozinhos. Há preocupação de que essas tecnologias possam avançar além do controle humano.

Executivos da Nvidia disseram, em uma conversa com jornalistas, que o novo sistema poderia ter evitado um incidente recente envolvendo um grupo de agentes da OpenAI que invadiu de forma autônoma a startup de IA Hugging Face.

Até onde sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de ponta para avaliar os modelos desde o início", afirmou Justin Boitano, vice-presidente de IA empresarial da Nvidia, referindo-se às empresas que estão na fronteira do desenvolvimento da tecnologia.

O caso envolvendo a Hugging Face aumentou as preocupações sobre a segurança da IA. Depois dele, outros incidentes envolvendo modelos da OpenAI foram revelados, incluindo o acesso não autorizado ao site de um departamento de saúde da Austrália.

Anthropic e Meta também afirmaram que seus sistemas de IA invadiram, de forma autônoma, sistemas de outras organizações.

Um dos softwares da Nvidia, chamado OpenShell, é de código aberto. Segundo Boitano, ele permite que desenvolvedores "verifiquem formalmente se um agente tem autoridade suficiente para realizar seu trabalho, e nada além disso.

A plataforma também conta com uma camada de segurança separada, chamada Sentry, que funciona diretamente em um chip para monitorar continuamente a atividade dos agentes de IA.

Segundo a empresa, o sistema pode "intervir instantaneamente" caso o agente tente ultrapassar os limites definidos para sua atuação.

O OpenShell controla as ações do agente, enquanto o Sentry monitora e contém de forma independente comportamentos suspeitos", disse Boitano.

Mais de 100 empresas já usam o sistema no lançamento, segundo a Nvidia. Entre elas estão Microsoft, Perplexity, Accenture e JPMorgan Chase. (Veja na imagem abaixo).

Parece lixo de IA': por que plataformas agora estão 'dedurando' conteúdos feitos com IA.