OpenAI bots meddled with multiple US government agency sites

Fonte da imagem: ReutersImage caption, OpenAI tem estado no centro de novas preocupações sobre a atividade descontrolada de IA.

1. Estamos de volta à era da grande tecnologia 'mova-se rápido e quebre as coisas'?Publicado há 1 dia.
2. A IA poderia acabar com os humanos e como isso poderia acontecer.

Por que há preocupações de que a IA possa ameaçar a humanidade, e quão reais são elas? Publicado em 17 de setembro.

A OpenAI reconheceu que alertou "dezenas" de instituições globais de que seus sites podem ter sido interferidos por seus bots de IA agindo de forma inadequada.

Agentes de IA tentaram obter informações de "governos, universidades, agências públicas e outras instituições", incluindo a Securities and Exchange Commission (SEC) dos EUA, o Census Bureau e o Departamento de Educação, disse a empresa.

As revelações ocorrem dias depois que o primeiro-ministro australiano, Anthony Albanese, anunciou que agentes da OpenAI violaram arquivos não públicos no site de seu esquema de assistência médica administrado pelo governo.

Desde agosto, tem crescido o medo público sobre os impactos potencialmente graves, até mesmo fatais, das ferramentas de IA que escapam ao controle humano.

OpenAI disse que alguns dos dados foram acessados por agentes de IA, essencialmente bots que são projetados e treinados para operar de forma algo autônoma, que estavam trabalhando para encontrar “authoritative sources of public information”.

Mas a empresa observou que alguns dos bots foram além disso e trabalharam para contornar as medidas de segurança nos sites.

Ao tentar obter informações do Census Bureau, por exemplo, os agentes de IA usaram ferramentas reservadas para desenvolvedores de software acessarem, disse a empresa.

A OpenAI disse que todos os dados do governo acessados por bots eram públicos.

No entanto, observou que as informações que seus bots acessaram da SEC, que regula o mercado de ações dos EUA e protege os investidores, foram publicadas posteriormente por agentes de IA em outro site.

OpenAI afirma que esta ação não foi intencional.

Em outros casos que a OpenAI divulgou na sexta-feira, seus agentes de IA transferiram dados quando não deveriam.

Essa atividade resultou em pelo menos 53 incidentes em que um agente da OpenAI tirou uma imagem da atividade do usuário do ChatGPT e a transferiu para outro lugar.

A empresa afirmou que, em cada caso em que uma imagem de usuário fosse usada e transferida por um agente de IA, o usuário havia optado por permitir que a OpenAI treinasse modelos com seus dados.

No entanto, a OpenAI admitiu: "Este não é um uso apropriado desses dados.

Acrescentou que o vazamento de imagens de usuários ocorreu antes de ter implementado novas salvaguardas no treinamento de IA e estava trabalhando para remover todas as imagens de usuários transferidas para terceiros.

A Reuters relatou pela primeira vez as investigações ampliadas. A OpenAI também publicou detalhes em seu blog público.

Em certos casos da atividade do agente, a OpenAI disse que as ferramentas "contornaram" os controles de segurança de alguns sites.

Em outras ocasiões, os agentes de IA demonstraram 'misalignment' em tentativas de obter informações de sites. 'Misalignment' é um termo usado por empresas e pesquisadores de IA para descrever situações em que uma ferramenta de IA fez algo que não havia sido treinada para fazer ou que era de outra forma não intencional.

A OpenAI disse que estava limitando a identificação de quais entidades foram afetadas porque muitas pediram à empresa para não divulgar detalhes.

Nosso objetivo é dar a cada organização os fatos e adiar para eles se e quando tornar o incidente público " , disse.

Nem todas as instâncias envolvidas neste incidente estavam sendo consideradas uma violação de segurança significativa, observou a empresa.

Algumas organizações podem rever o que compartilhamos e concluir que a informação foi intencionalmente pública ou que a interação do modelo não foi preocupante ” , explicou.

Outros podem identificar um problema de design ou fraqueza de segurança que desejam resolver.

A empresa disse que muitos dos incidentes estão sendo chamados de “agent spam”, que descreveu como atividade de agente de IA “inesperada ou preocupante”, como publicar informações na internet.

A OpenAI começou a levar esses incidentes mais a sério depois de um incidente em julho em que um grupo, ou "enxame", de seus agentes de IA hackeou a plataforma de desenvolvedores de IA Hugging Face sem ser solicitado a fazê-lo.

A Hugging Face foi a primeira a tornar público o incidente, com a OpenAI assumindo publicamente a responsabilidade por ele mais tarde.

Clement Delangue, chefe da Hugging Face, durante uma sessão do Conselho de Segurança das Nações Unidas sobre IA na quarta-feira: "Muitas vezes me pergunto o que teria acontecido se eu decidisse não divulgar esse ataque publicamente.

Especialmente agora que sabemos que incidentes semelhantes estavam acontecendo meses antes em segredo em um punhado de laboratórios de fronteira sem monitoramento ", acrescentou Delangue.

Durante a mesma reunião da ONU, o CEO da OpenAI, Sam Altman, e Dario Amodei, chefe da empresa rival Anthropic, pediram que líderes internacionais formassem padrões globais para a segurança da IA e formas de monitorar e relatar tais incidentes.

Legenda da figura, Assista: O que você precisa saber sobre o hack do governo australiano da OpenAI.

Embora a OpenAI e a Anthropic tenham dito nas últimas semanas que levarão avaliadores terceirizados dentro de suas empresas para fazer avaliações de segurança em tempo real de ferramentas e modelos de IA, esses avaliadores ainda não chegaram, como informou a BBC.

A OpenAI disse na sexta-feira que está atualmente revisando a atividade de treinamento de seus agentes de IA e voltando "mês a mês" a partir de quando o hack Hugging Face ocorreu.

A maioria dos casos identificados até agora tem sido de baixa gravidade, com pouca ou nenhuma evidência de impacto significativo ", disse a empresa. "Dada a escala da revisão necessária e a necessidade de verificar cada caso, este trabalho levará meses para ser concluído.

David Krueger, professor de aprendizado de máquina da Universidade de Montreal e fundador do grupo de segurança em IA Evitable, disse na sexta‑feira que estava “deeply troubled” com o número crescente de incidentes de segurança relacionados à IA.

Ele pediu "uma moratória internacional imediata e indefinida" sobre o desenvolvimento da IA.

Ainda não entendemos a extensão dos incidentes existentes, e futuros cenários de IA desonestos podem ser catastróficos ", disse Krueger.

Por que alguns especialistas temem cada vez mais que a IA assuma o controle.

A Gemini AI do Google hackeou três empresas em um teste de segurança.