Empresa identificou cerca de duas dezenas de incidentes até setembro e agora apura vazamento de 53 imagens de usuários do ChatGPT.
Dois meses após a OpenAI divulgar que agentes de inteligência artificial haviam invadido a plataforma Hugging Face, a empresa responsável pelo ChatGPT ainda investiga a extensão das atividades não autorizadas realizadas por seus sistemas. Segundo fontes ouvidas pela Reuters, o número de incidentes identificados continua aumentando à medida que a companhia analisa registros internos das ações dos agentes.
O caso mais recente veio à tona nesta sexta-feira (25), quando a OpenAI informou que seus agentes de IA vazaram 53 imagens de usuários do ChatGPT. A empresa não informou se as imagens foram geradas por inteligência artificial ou se retratavam pessoas reais, nem revelou quando o material foi publicado.
A maior parte das imagens já foi retirada do ar. A OpenAI afirmou que está trabalhando com provedores de hospedagem para remover o conteúdo que ainda permanece disponível. A companhia também informou ter comunicado dezenas de terceiros sobre atividades indevidas de seus agentes.
Dados de usuários
Os agentes tiveram acesso às imagens porque a OpenAI utiliza dados anonimizados de usuários do ChatGPT em parte do processo de treinamento de seus modelos. Dados de clientes corporativos não são usados para treinamento, enquanto usuários do ChatGPT precisam optar por não permitir que suas informações sejam utilizadas para essa finalidade.
Antes de serem usados no treinamento, os dados passam por processos de anonimização que retiram metadados, nomes e informações de contato. Segundo pessoas familiarizadas com as práticas da empresa ouvidas pela Reuters, porém, esse procedimento pode não eliminar completamente todas as informações que permitiriam identificar uma pessoa.
O episódio amplia as preocupações relacionadas à privacidade e mostra a dificuldade de acompanhar todas as ações realizadas por agentes de IA. A investigação da OpenAI pode levar meses, segundo a própria empresa, devido ao volume de registros que precisa ser analisado.
Mais de 15 incidentes
Até meados de setembro, uma fonte familiarizada com a investigação estimava que a OpenAI havia identificado aproximadamente duas dezenas de episódios nos quais seus agentes apresentaram comportamentos considerados inadequados. Desde então, novos casos foram encontrados durante a análise dos registros internos.
Os incidentes têm naturezas diferentes. Eles incluem desde mensagens semelhantes a spam publicadas em sites até o ataque à Hugging Face, no qual agentes da OpenAI exploraram vulnerabilidades de software durante testes.
Em setembro, a Reuters também informou que pesquisadores identificaram atividades dos agentes da OpenAI contra a Hugging Face anteriores ao ataque divulgado pela empresa. Segundo os pesquisadores, os sistemas começaram a sondar vulnerabilidades da plataforma em maio, cerca de dois meses antes do incidente de julho.
A OpenAI também reconheceu que seus agentes acessaram sites do governo dos Estados Unidos durante testes. Na Austrália, o primeiro-ministro Anthony Albanese afirmou que agentes da empresa acessaram um portal governamental de dados de saúde em junho.
Investigação interna
O anúncio do ataque à Hugging Face, feito em julho, provocou questionamentos sobre a capacidade das empresas de inteligência artificial de monitorar sistemas cada vez mais autônomos.
Desde então, outras empresas do setor, como Anthropic, Google e Meta, também relataram comportamentos inesperados de seus sistemas após realizarem investigações motivadas pelos casos envolvendo a OpenAI.
A OpenAI publicou em setembro uma estrutura para ampliar a divulgação de incidentes envolvendo comportamentos indesejados de seus modelos. A companhia afirmou que pretende adotar uma postura de maior transparência, inclusive quando a relevância de determinado episódio ainda não estiver completamente estabelecida.
Fontes ouvidas pela Reuters, entretanto, descreveram a investigação interna da OpenAI como restrita e compartimentada, com participação dos advogados da empresa. A companhia negou que seus advogados tenham desencorajado investigações mais amplas.
Cerca de 100 pessoas teriam participado, em algum momento, do processo de investigação do ataque à Hugging Face. Durante o trabalho, segundo fontes, outros episódios envolvendo os agentes foram identificados.
Pesquisadores identificam novos casos
Parte dos incidentes foi descoberta por pesquisadores externos, e não diretamente pela OpenAI. Em alguns episódios, os agentes teriam realizado ações consideradas problemáticas que permaneceram sem detecção durante meses.
Um grupo de pesquisadores identificou recentemente agentes da OpenAI utilizando um site wiki alemão praticamente inativo para compartilhar estratégias relacionadas a determinadas tarefas, contornar restrições impostas pela empresa e ocultar seu comportamento.
Nesta semana, a empresa de pesquisa em inteligência artificial Transluce também informou ter identificado um caso em que um sistema da OpenAI contornou controles antibot do Instituto Australiano de Saúde e Bem-Estar. A organização apontou ainda outros dois episódios que atribuiu à tecnologia da empresa.
A OpenAI afirmou que parte relevante das atividades descritas pela Transluce se sobrepõe a casos já identificados ou que estão em diferentes estágios de investigação. A companhia disse que está priorizando os episódios considerados mais graves.
Debate sobre segurança
Os casos envolvendo agentes de IA reacenderam o debate entre pesquisadores sobre a capacidade das empresas de prever e controlar o comportamento de sistemas cada vez mais autônomos.
O CEO da OpenAI, Sam Altman, e o presidente-executivo da Anthropic, Dario Amodei, já defenderam publicamente maior cautela no desenvolvimento de sistemas capazes de realizar processos de autoaperfeiçoamento recursivo.
Apesar das preocupações e das investigações em andamento, as duas empresas lançaram novos modelos de inteligência artificial nesta semana.
