OpenAI: agentes de IA podem ter afetado mais de 100 organizações

Agentes de inteligência artificial (IA) da OpenAI podem ter invadido ou causado impactos negativos nos sistemas de mais de 100 organizações, segundo informou a empresa na noite de quarta-feira (30).

• OpenAI negocia rodada de R$ 156,1 bi e pode atingir valuation de R$ 7,3 tri.
• EUA investigam OpenAI e Anthropic após incidentes com agentes de IA.
• OpenAI acusa chinesa Moonshot de destilar suas IAs.
• Segundo a OpenAI, as notificações são enviadas de maneira privada às organizações afetadas.
• O objetivo é fornecer às empresas informações necessárias para investigar e solucionar possíveis problemas de segurança ou outras questões técnicas.
• Ao mesmo tempo, a companhia afirmou que pretende divulgar publicamente suas descobertas sobre comportamentos dos modelos e novos tipos de vulnerabilidades em mecanismos de segurança.
• A intenção, segundo a empresa, é permitir que as comunidades de pesquisa em IA e segurança utilizem essas informações para melhorar a proteção dos sistemas.

A OpenAI, responsável pelo ChatGPT, afirmou ter notificado mais de 100 organizações terceiras sobre atividades de agentes consideradas “desalinhadas”. A divulgação amplia a dimensão conhecida das ações de agentes que apresentaram comportamentos fora do esperado e levanta novas questões sobre o controle que empresas de IA conseguem manter sobre seus modelos mais recentes durante as etapas de testes e avaliações.

Os casos identificados apresentam diferentes níveis de gravidade. Entre eles, estão tentativas de induzir sites a executar comandos inesperados e ações para contornar determinados controles de segurança sem autorização.

Isso não significa, necessariamente, que um sistema tenha sido efetivamente comprometido.

OpenAI quer compartilhar descobertas.

A divulgação ocorre depois que pesquisadores independentes identificaram uma série de incidentes envolvendo agentes de IA que apresentaram comportamentos considerados fora do esperado em situações relacionadas à cibersegurança.

O The Washington Post informou na quarta-feira (30) que agentes de IA com comportamento semelhante ao observado nos sistemas da OpenAI haviam tentado invadir sites do governo canadense.

Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.