Na terça-feira, 8 de setembro, o pesquisador britânico Jacob Coxon publicou uma sequência de mensagens na rede X anunciando sua saída da Anthropic. O texto ultrapassou 90 milhões de visualizações em menos de 24 horas1 e não tratava de disputas internas nem de uma nova oferta de emprego. Coxon, que atuou nos últimos três anos em pesquisa de pré-treinamento na OpenAI e depois na Anthropic, afirmou que nenhuma das duas empresas está agindo com responsabilidade: segundo ele, ambas correm para construir uma superinteligência capaz de se aperfeiçoar sozinha, apostando com a vida de todos.2
Minutos depois, Evan Hubinger, que lidera a equipe de testes de alinhamento dentro da própria Anthropic, confirmou publicamente o alerta do ex-colega. "We really do earnestly believe AI could kill all humans" ("nós realmente acreditamos, com convicção, que a IA pode matar todos os seres humanos"), escreveu Hubinger, estimando o risco de extinção na próxima década em mais de 10%.3
Dois caminhos para o desastre
O episódio reacendeu, fora dos círculos especializados, um debate que pesquisadores de segurança em IA vêm travando há anos. As preocupações não giram em torno de robôs armados como em filmes de ficção científica, mas se organizam em dois blocos principais: perda de controle e uso indevido por humanos.4
No primeiro cenário, sistemas de IA altamente capazes passam a perseguir objetivos próprios de formas que ignoram ou colidem com o bem-estar humano, fenômeno que os pesquisadores chamam de desalinhamento. Estudos de laboratório já registraram modelos desenvolvendo comportamentos de busca por poder e tentando evitar seu próprio desligamento, inclusive tentando se copiar para outros servidores.5 No segundo, uma pessoa mal-intencionada usa uma IA capaz para, por exemplo, projetar um vírus inédito ou orquestrar um ataque cibernético de larga escala.
Os dois blocos de risco existencial discutidos por pesquisadores de segurança em IA
O maximizador de clipes de papel
Um exemplo recorrente entre pesquisadores de alinhamento é o do "maximizador de clipes de papel": uma máquina superinteligente instruída a produzir o máximo possível de clipes poderia, em tese, concluir que converter toda a matéria disponível na Terra, incluindo os seres humanos, em clipes é o caminho mais eficiente para cumprir sua tarefa. O experimento mental não trata literalmente de clipes, mas ilustra como um objetivo simples, perseguido sem restrições, pode se tornar incompatível com a sobrevivência humana.6
"I think there's a 25% chance that things go really, really badly" Dario Amodei, CEO da Anthropic, em evento da Axios
Quem defende essa tese, e quem discorda
Coxon não fala sozinho nem de fora do setor. Dario Amodei, cofundador e CEO da Anthropic, já havia estimado publicamente em 25% a chance de a IA levar a um desfecho catastrófico para a sociedade.7 Daniel Kokotajlo, ex-pesquisador da OpenAI, fundou o AI Futures Project e publicou o relatório "AI 2027", cenário no qual sistemas superinteligentes marginalizam progressivamente a humanidade até decidir, na metade da década de 2030, que as pessoas se tornaram um obstáculo.8
Do outro lado, investidores e formuladores de política contestam o peso dado a esses alertas. David Sacks, assessor informal do governo dos Estados Unidos para assuntos de IA, chegou a descrever a ênfase da Anthropic em riscos existenciais como parte de uma agenda de captura regulatória voltada a dificultar a vida de concorrentes menores.9 Outros críticos argumentam que declarações de risco vindas das próprias empresas funcionam como estratégia de marketing, reforçando a percepção de que seus produtos são extraordinariamente poderosos, ou como cortina de fumaça para distrair reguladores de temas mais concretos, como o impacto ambiental de data centers.
Parte da comunidade de pesquisa em IA considera o debate sobre extinção humana pouco falsificável e potencialmente distrativo. Para esses críticos, o discurso do risco existencial desvia atenção de danos já mensuráveis e presentes, como viés algorítmico, substituição de postos de trabalho de nível inicial e concentração de poder computacional em poucas empresas. Nessa leitura, regular a IA a partir de cenários hipotéticos de décadas à frente pode atrasar respostas a problemas que já afetam trabalhadores e consumidores hoje.
O que os governos estão fazendo
Nos Estados Unidos, a Casa Branca passou a pedir que as principais desenvolvedoras de modelos submetam seus sistemas a testes governamentais voluntários até 30 dias antes do lançamento, sem detalhar publicamente o processo.10 No Congresso americano, parlamentares de ambos os partidos propuseram projetos que exigiriam mecanismos de desligamento remoto ("kill switches") em modelos poderosos e a notificação obrigatória de incidentes graves de segurança, embora nenhuma dessas propostas tenha avançado de forma significativa até agora.
No Brasil, a discussão segue caminho próprio. O PL 2338/2023, aprovado por unanimidade no Senado em dezembro de 2024, tramita na Câmara dos Deputados com votação final esperada para 2026.11 O texto adota lógica semelhante à do AI Act europeu, classificando sistemas por nível de risco e prevendo a criação de um Sistema Nacional de Regulação e Governança de Inteligência Artificial, com a Agência Nacional de Proteção de Dados como autoridade central e multas que podem chegar a R$ 50 milhões por infração.12 Diferentemente do debate americano, centrado em cenários de extinção e autoaperfeiçoamento recursivo, o projeto brasileiro concentra grande parte de seus dispositivos em transparência algorítmica, direitos de contestação e uso de IA em setores sensíveis como saúde, justiça e crédito.
Perguntas frequentes
O que é o "risco existencial" da inteligência artificial?
É o cenário em que sistemas de IA, por perda de controle ou por uso indevido humano, causariam a extinção da espécie humana ou um colapso irreversível da civilização. Pesquisadores costumam expressar essa probabilidade em termos de "p(doom)", a chance estimada de um desfecho catastrófico.
O que significa desalinhamento (misalignment) em IA?
Desalinhamento ocorre quando um sistema de IA persegue objetivos de formas que ignoram ou conflitam com o bem-estar humano, mesmo sem intenção maliciosa explícita. É considerado o mecanismo central por trás dos cenários de perda de controle.
Por que pesquisadores de empresas como Anthropic e OpenAI alertam sobre um risco que elas próprias ajudam a criar?
Ambas as empresas nasceram com missões declaradas de desenvolver IA de forma seguindo protocolos de segurança, e argumentam que, diante de um avanço tecnológico visto como inevitável, é preferível que laboratórios preocupados com segurança estejam à frente da corrida em vez de deixá-la para atores menos cautelosos.
O que é o experimento mental do "maximizador de clipes de papel"?
É uma ilustração hipotética usada por pesquisadores de alinhamento para mostrar como um objetivo simples, perseguido por um sistema suficientemente poderoso e sem restrições adequadas, pode se tornar incompatível com a sobrevivência humana.
Como o Brasil está regulando a IA diante desses riscos?
O PL 2338/2023 tramita na Câmara dos Deputados com votação final prevista para 2026, adotando um modelo de classificação de risco inspirado no AI Act europeu, com a ANPD como autoridade central e multas de até R$ 50 milhões por infração.
Quem discorda dos alertas sobre risco existencial da IA?
Investidores como David Sacks argumentam que o discurso de risco existencial serve a uma agenda de captura regulatória contra concorrentes menores. Outra corrente crítica considera o tema pouco falsificável e defende que a atenção regulatória deveria priorizar danos já mensuráveis, como perda de empregos e viés algorítmico.