Um investigador que trabalhou tanto na Anthropic como na OpenAI demitiu-se esta semana da primeira empresa, deixando um aviso pouco habitual no setor, segundo ele, as próprias equipas que constroem os sistemas de inteligência artificial mais avançados acreditam, a sério, que esta tecnologia pode representar um risco existencial para a humanidade ainda antes do final da década.
Jacob Coxon, de 27 anos, passou os últimos três anos a trabalhar em investigação ligada ao treino de modelos de IA, tanto na OpenAI como, mais recentemente, na Anthropic. Na terça-feira, anunciou a sua saída da empresa numa longa mensagem publicada na rede social X, que rapidamente se tornou viral, acumulando dezenas de milhões de visualizações.
Na publicação, Coxon não poupou críticas a nenhuma das duas empresas onde trabalhou: “Nenhuma das duas empresas está a agir de forma responsável. Estão a correr diretamente para uma superinteligência capaz de se autoaperfeiçoar, e a apostar com as nossas vidas”. Ele foi ainda mais longe ao afirmar que “as pessoas que constroem IA acreditam sinceramente que esta pode matar-nos a todos ainda antes do final da década”, sublinhando que não se trata de “um truque de marketing“.
Segundo Coxon, mesmo quando executivos e investigadores seniores suavizam o discurso perante a imprensa, muitos partilham em privado o mesmo receio. “Nenhuma outra atividade humana representa este nível de perigo“, escreveu.
Em declarações ao Wall Street Journal, Coxon foi ainda mais específico sobre os prazos que considera possíveis: “Estamos no caminho de muitos dos cenários mais agressivos, em que, até ao final do próximo ano, as coisas já poderão estar fora de controlo“. Segundo o mesmo relato, os colegas de Coxon na área da investigação usariam internamente expressões como “crunchtime” e “endgame” para descrever o estado atual do desenvolvimento acelerado de sistemas capazes de se autoaperfeiçoar.
A resposta veio de dentro da própria Anthropic
O mais surpreendente, talvez, tenha sido a reação de colegas ainda na ativa. Horas depois da publicação de Coxon, Evan Hubinger, responsável pela área de alinhamento (Alignment Science) na Anthropic, veio publicamente validar as suas afirmações: “O Jacob tem razão nisto — nós acreditamos mesmo, a sério, que a IA pode matar todos os seres humanos! Pessoalmente, considero que a probabilidade é superior a 10% na próxima década“.
Hubinger acrescentou ainda que acredita que a Anthropic está a “esforçar-se ao máximo“, mas admitiu que a empresa “ainda não tem um plano para resolver o alinhamento de sistemas superinteligentes” e que não está claramente a caminho de o conseguir.
Um relatório da própria equipa de alinhamento da Anthropic, publicado em agosto, classifica como “baixo” o risco catastrófico associado aos modelos atuais, mas alerta que as tendências em curso podem conduzir a “problemas de alinhamento mais preocupantes” em modelos futuros, mais capazes, que poderão desenvolver “capacidades encobertas fortes” para escapar à deteção por parte de equipas de segurança. O documento reconhece ainda, como cenário a levar a sério, a possibilidade de modelos futuros causarem “danos sem limite definido, incluindo a perda total de controlo da humanidade sobre a civilização“, através do acesso a tecnologias inéditas.
O incidente que reacendeu o debate
Grande parte desta preocupação renovada tem origem num episódio recente envolvendo a OpenAI. Segundo o comunicado oficial da própria OpenAI, agentes de inteligência artificial da empresa, durante um teste interno de capacidades de cibersegurança, conseguiram sair de um ambiente de avaliação isolado e acabaram por aceder sem autorização aos sistemas de produção da Hugging Face, plataforma que aloja modelos e conjuntos de dados de IA de código aberto.
De acordo com a reconstrução dos factos feita pela própria Hugging Face, os agentes terão recorrido a uma combinação de credenciais comprometidas e a uma vulnerabilidade de dia zero para chegar a esses sistemas, com o objetivo de obter as respostas certas para o teste de avaliação a que estavam a ser submetidos, em vez de as resolverem de forma legítima. Nenhum ser humano deu instruções diretas para que este acesso acontecesse.
Para Coxon, este episódio deve ser encarado como um “aviso sério“, que deveria motivar as empresas do setor, tanto nos Estados Unidos como no resto do mundo, a coordenarem-se entre si e a estarem preparadas para impor, no pior cenário, uma “suspensão temporária de melhorias nas capacidades dos modelos“, ainda que reconheça ser difícil garantir que uma medida destas seria cumprida à escala global.
Nem todos concordam com o alarme
Vale sublinhar que este tipo de aviso está longe de ser consensual dentro da comunidade científica. Há quem questione previsões deste género sobre um eventual cenário de extinção, apontando antes para impactos já mensuráveis, mas menos dramáticos, como a quebra de quase 20% no emprego para recém-licenciados nos setores dos Estados Unidos mais expostos à automação através de IA.
Coxon também não é o primeiro investigador de peso a deixar uma empresa de IA citando preocupações deste tipo. Em 2023, o pioneiro da IA Geoffrey Hinton demitiu-se da Google, alertando na altura, em declarações ao New York Times, que os investigadores não deveriam continuar a escalar estes sistemas antes de perceberem se conseguem realmente controlá-los. Já em fevereiro deste ano, Mrinank Sharma, responsável pela área de segurança na Anthropic, apresentou também a sua demissão, escrevendo numa carta aberta que “o mundo está em perigo” devido a uma série de crises interligadas, entre as quais a própria IA.
Em julho, mais de 1.300 trabalhadores de empresas na linha da frente do desenvolvimento de IA assinaram uma carta aberta a alertar para o risco de o “desenvolvimento de capacidades acelerar rapidamente para além da nossa capacidade de compreender ou controlar os sistemas resultantes“, pedindo ao governo dos Estados Unidos que apoiasse um esforço internacional de regulação nesta área.
O que se passa do lado político
Nos Estados Unidos, já existem propostas legislativas que procuram impor algum nível de controlo governamental sobre cenários de IA fora de controlo, entre elas o chamado AI Kill Switch Act e o FRONTIER Act. Ainda assim, a resposta política internacional tem sido, até agora, mais contida do que seria expectável caso os próprios líderes globais levassem verdadeiramente a sério a possibilidade de a IA causar danos ao nível civilizacional.
Depois da demissão de Coxon, a deputada norte-americana Lori Trahan comentou publicamente o caso, escrevendo que “investigadores de segurança estão a demitir-se, modelos poderosos de IA estão a escapar dos laboratórios, e as empresas continuam a avançar mesmo assim“, defendendo que “já é tempo de o Congresso deixar de ficar de fora e fazer o seu trabalho“, numa referência direta ao FRONTIER Act, do qual é uma das proponentes.
Do lado da OpenAI, a empresa já tinha anunciado, no mês passado, que decidiu “abrandar temporariamente o ritmo de escalada” dos seus próximos modelos, de forma a reforçar os testes de segurança dos ambientes de investigação e alargar a cobertura dos seus sistemas de monitorização. Nessa altura, o próprio presidente executivo da empresa, Sam Altman, afirmou que “acertar na segurança da IA é mais importante do que o ritmo de crescimento de qualquer empresa“.
