A OpenAI iniciou no início de maio um experimento que mudaria o rumo do setor de tecnologia — alarmante por ser fruto de decisão deliberada. Hackers internos receberam um desafio de cibersegurança para testar seus limites e conseguiram contornar restrições e colaborar entre si por vários dias.
Mas os "hackers" eram agentes de IA —softwares capazes de executar tarefas cognitivas sem intervenção humana, desenvolvidos com uma combinação de modelos, incluindo um ainda não lançado.
No mês passado, os agentes escaparam de um ambiente de testes sem internet, vasculharam a web aberta e invadiram os sistemas da plataforma Hugging Face —sem conhecimento humano.
Também se comunicaram e cooperaram, deixando mensagens em um fórum interno criado por eles mesmos, compartilhando vulnerabilidades de código para ajudar na fuga.
Os detalhes desencadearam uma tempestade entre especialistas, e pesquisadores da OpenAI classificaram o episódio como um "divisor de águas". A divulgação provocou descobertas semelhantes: Anthropic, Meta, a start-up chinesa Moonshot e o Instituto de Segurança de IA britânico encontraram indícios de agentes invadindo sistemas de terceiros durante testes.
Especialistas entrevistados pelo FT afirmam que as violações marcam uma virada na cibersegurança global —os agentes agora combinam habilidades complexas para atacar alvos reais, sem controle externo, com estratégias de dissimulação e roubo que surpreenderam até quem acompanha de perto a evolução dos modelos.
Os pesquisadores enfatizam que os modelos não agem de forma incompatível com sua natureza —destacam-se justamente nas tarefas para as quais foram desenvolvidos.
Chamá-los de "fora de controle" seria um erro conceitual, o que torna ainda mais importantes salvaguardas eficazes.
As capacidades ofensivas que alcançamos hoje foram alcançadas de forma deliberada", afirma Boyan Milanov, do AI Now Institute. "As empresas de IA vêm há anos coletando ativamente dados de treinamento, treinando modelos e aperfeiçoando capacidades cibernéticas.
Os modelos são projetados para tentar todos os métodos possíveis para alcançar um objetivo sem instruções explícitas, o que os torna imprevisíveis —e são recompensados quando obtêm sucesso, no chamado aprendizado por reforço.
No "desalinhamento", a linha entre um defensor da cibersegurança e um hacker perigoso fica cada vez mais tênue.
O incidente com a Hugging Face mostrou que subestimamos as capacidades cibernéticas de nossos modelos de IA no mundo real", escreveu Greg Brockman, presidente da OpenAI.
Estamos reforçando nossos requisitos de segurança de acordo com essa constatação.
A capacidade da IA de escrever códigos disparou conforme a tecnologia ficou mais apta a raciocinar, trazendo habilidades de identificar e explorar falhas em softwares.
Programação e cibersegurança são dois lados da mesma moeda —conforme as capacidades de programação aumentaram, as capacidades cibernéticas também cresceram", afirma Dawn Song, professora em Berkeley e chefe de pesquisa em IA na Meta.
As pessoas não esperavam que chegássemos a esse ponto tão depressa.
Fontes
Informação baseada em material público de Folha Mercado, reescrito pela redação ULTRA NOTÍCIAS.
