Ouça este conteúdo
Alguns “incidentes” causados por modelos de inteligência artificial (IA) descontrolados, juntamente com os alertas inquietantes lançados por alguns funcionários das principais desenvolvedoras dessa tecnologia, têm levantado uma questão que a indústria não pode adiar: como desenvolver sistemas cada vez mais capazes sem criar uma ameaça.
Jacob Coxon, funcionário da OpenAI e da Anthropic, soou o alarme em setembro de 2026 com um alerta preocupante: aqueles que desenvolvem inteligência artificial acreditam sinceramente que ela poderá acabar com a humanidade antes do fim da década.
Outro funcionário da Anthropic o apoiou publicamente e estimou em mais de 10% a probabilidade de a IA matar todos os seres humanos nos dez anos seguintes, algo que executivos como Elon Musk ou Sam Altman também sustentam.
O alerta reabriu uma discussão: quão real é a ameaça? Segundo o livro If Anyone Builds It, Everyone Dies, de Eliezer Yudkowsky e Nate Soares, bastante. A tese deles é que construir uma superinteligência artificial poderia levar à extinção humana. Eles não falam de uma máquina que nos odeie nem de uma rebelião ao estilo O Exterminador do Futuro, mas de um sistema com capacidades muito superiores às nossas e objetivos diferentes.
O debate ganhou uma dimensão concreta — e preocupante — com o incidente da Hugging Face, ocorrido em julho de 2026. Durante testes de cibersegurança, modelos da OpenAI conseguiram contornar mecanismos projetados para mantê-los isolados da internet e comprometeram parte da infraestrutura interna da empresa, uma plataforma de referência para modelos e ferramentas de IA.
Os mesmos atores que alertam para as consequências de uma IA avançada competem para construí-la
Segundo a investigação publicada pela OpenAI, os agentes se comunicaram por meio de canais não autorizados e utilizaram credenciais expostas de serviços externos. O incidente não prova que uma IA possa exterminar a humanidade, mas demonstra que ela pode encontrar vias de atuação que seus responsáveis não haviam previsto.
Alertar sobre os perigos da IA enquanto se acelera seu desenvolvimento é como avisar que o fogo queima enquanto se alimenta a fogueira. Os mesmos atores que alertam para as consequências de uma IA avançada competem para construí-la. Para entender essa contradição, é preciso examinar tanto as dificuldades técnicas quanto os incentivos econômicos e políticos que mantêm a corrida em andamento.
Uma tecnologia que não compreendemos totalmente
O risco existencial poderia ser evitado por meio do que se conhece como “alinhamento”: fazer com que uma IA avançada não apenas seja capaz de cumprir uma tarefa, mas que o faça de acordo com os propósitos e limites estabelecidos por seus criadores. A dificuldade está no fato de que formular um objetivo não equivale a controlar todos os meios que um sistema pode usar para alcançá-lo. Uma instrução aparentemente simples pode produzir consequências imprevistas quando o modelo dispõe de ferramentas, acesso à informação e capacidade para agir sobre sistemas externos.
O livro de Yudkowsky e Soares leva essa lógica às últimas consequências. A humanidade — apontam eles — poderia criar algo que não fosse capaz de controlar, não porque a máquina se rebelaria conscientemente, mas porque a diferença de capacidades tornaria ineficazes nossos mecanismos de defesa.
Se, além disso, uma IA chegasse a participar de forma autônoma no design de suas sucessoras, poderia acelerar o desenvolvimento de sistemas cada vez mais capazes. O processo, conhecido como recursive self-improvement (autoaperfeiçoamento recursivo), permitiria uma aceleração que deixaria para trás a capacidade humana de supervisionar os avanços.
Mas essa cadeia contém várias incógnitas: não sabemos com certeza se os sistemas atuais poderão atingir esse grau de autonomia, se a melhoria será tão rápida quanto alguns preveem, nem se uma maior capacidade técnica levará necessariamente a uma perda de controle.
O que demonstra o incidente da Hugging Face
O episódio da Hugging Face exemplifica um tipo de comportamento que os pesquisadores chamam de reward hacking (manipulação de recompensa): a IA encontra uma maneira de obter a recompensa esperada sem cumprir realmente o propósito da tarefa. Outros desvios observados incluem a persistência em tarefas aparentemente impossíveis, a comunicação não autorizada e a adoção dos objetivos de outros agentes.
Em certos experimentos, modelos que deveriam trabalhar separadamente encontraram formas de se comunicar e colaborar, formando o que foi descrito como um “enxame” ou um “coletivo”.
O risco imediato disso é a possibilidade de esses sistemas facilitarem ataques de agentes mal-intencionados ou ampliarem seu alcance. A ameaça de extinção da humanidade viria simplesmente pela extrapolação desse problema em nível global.
O debate: risco existencial ou especulação?
Em 17 de setembro de 2026, o podcast The Diary of a CEO, apresentado por Steven Bartlett, reuniu quatro vozes com diferentes posições sobre a possibilidade de a inteligência artificial provocar a extinção humana: Roman Yampolskiy, Nate Soares, Ed Zitron e Andrew McAfee.
Yampolskiy, pesquisador especializado em segurança de IA, defendeu a postura mais alarmista, aludindo à velocidade dos avanços e ao mencionado “autoaperfeiçoamento recursivo”, que poderiam deixar os humanos sem capacidade de compreender ou antecipar o comportamento de suas criações.
Nate Soares aposta com quase total certeza em uma catástrofe global caso o desenvolvimento da IA siga seu curso atual. Ele assegura que esperar o surgimento de provas definitivas dessa ameaça pode fazer com que cheguemos tarde demais.
Do lado cético, Ed Zitron criticou o fato de o debate se concentrar em cenários futuros enquanto se dá menos atenção aos danos que já estão ocorrendo: a manipulação informacional, os efeitos sobre a saúde mental, a concentração de poder em poucas empresas e os custos sociais e ambientais da infraestrutura tecnológica. Ele também apontou que referir-se à IA como uma ameaça quase mística pode isentar algumas empresas — e não apenas as maiores — de cumprir determinadas responsabilidades que estão ao seu alcance.
Andrew McAfee, pesquisador do MIT, defendeu uma postura mais otimista sobre a capacidade humana de se adaptar às novas tecnologias. Em sua opinião, a probabilidade de extinção atribuível à IA é praticamente nula, motivo pelo qual conviria focar em seus benefícios. Seu argumento se apoia na experiência histórica: outras tecnologias poderosas geraram riscos e danos, mas as sociedades desenvolveram formas de gerenciá-los e obtiveram benefícios importantes. Para McAfee, apresentar a IA como uma ruptura radical com essa trajetória significa subestimar a capacidade humana de resolver problemas.
O debate sobre a IA exige distinguir o que sabemos do que estamos extrapolando, sem ignorar que alguns comportamentos atuais oferecem motivos para reforçar a segurança
No entanto, o incidente da Hugging Face é usado como argumento por aqueles que consideram que o risco existencial merece ser levado a sério. Uma IA que encontra uma maneira de burlar as barreiras que a impedem de atingir seu objetivo, e que oculta essas ações, apresenta um problema de controle que não desaparece pelo fato de ela oferecer boas respostas. Se esse comportamento ocorresse em sistemas muito mais capazes, com acesso a infraestruturas críticas e possibilidade de agir por períodos prolongados sem supervisão humana, as consequências poderiam ser nefastas.
A discussão não se resolve, portanto, escolhendo entre acreditar no apocalipse e descartá-lo como uma fantasia. Exige distinguir o que sabemos do que estamos extrapolando, sem ignorar que alguns comportamentos atuais oferecem motivos concretos para investigar e reforçar os mecanismos de segurança.
O negócio de anunciar o futuro
As empresas de IA justificam o risco de seus desenvolvimentos pela promessa de criar uma inteligência artificial geral capaz de realizar boa parte do trabalho produtivo da humanidade.
Nessa estratégia, o medo também pode, paradoxalmente, contribuir para a atratividade dessas companhias. Se uma empresa apresenta seus modelos como sistemas tão extraordinariamente poderosos e capazes de transformar a economia que são potencialmente perigosos, ela reforça a percepção de que detém uma tecnologia estratégica. Essa imagem pode favorecer sua avaliação de mercado, atrair investimentos e aumentar sua influência sobre os governos.
O alarme e a promoção comercial não são necessariamente incompatíveis. Uma empresa pode preocupar-se genuinamente com a segurança e, ao mesmo tempo, ter incentivos para continuar desenvolvendo modelos cada vez mais avançados. Pode alertar que seus sistemas são perigosos e defender que apenas ela dispõe dos meios para gerenciá-los.
Isso obriga a olhar com cautela para as declarações dos executivos de tecnologia. Dizer que a IA transformará radicalmente o mundo serve para justificar os investimentos presentes; alertar sobre seus perigos pode reforçar a necessidade de concentrar seu desenvolvimento nas mãos de quem já domina o setor. A regulação também pode se tornar uma barreira de entrada caso imponha custos que apenas as grandes companhias consigam arcar.
A corrida em que ninguém quer frear
O problema se agrava quando a concorrência empresarial se combina com a rivalidade entre países. Estados Unidos e China não encaram a inteligência artificial apenas como uma ferramenta econômica: ela também é uma tecnologia com implicações militares e científicas.
Nenhuma potência — nem nenhuma empresa — quer abrir mão de capacidades que seus rivais poderiam desenvolver. Disso surge uma dinâmica difícil de quebrar. Todos podem preferir um cenário mais seguro, mas ninguém quer assumir unilateralmente o custo de frear.
Não basta que um laboratório decida investir mais em segurança se os outros continuam acelerando. Tampouco basta que um país imponha restrições se outros puderem aproveitá-las para ganhar terreno. A cooperação torna-se necessária precisamente porque os incentivos individuais empurram na direção oposta.
Os riscos que já estão aqui
A extinção humana é o cenário mais extremo, mas a inteligência artificial apresenta outros problemas que não exigem imaginar sistemas superiores a nós. Um deles é a concentração de poder. Se poucas empresas controlam as ferramentas das quais dependem grande parte da atividade econômica, dos serviços e do acesso à informação, sua influência pode crescer muito mais depressa do que a capacidade das instituições de supervisioná-las. A questão não é apenas o que as máquinas poderão fazer, mas quem terá o poder de desenvolvê-las, decidir como são utilizadas e estabelecer seus limites.
Outro problema é a distribuição dos benefícios. Como aponta Jon Hernández, um divulgador sobre IA, o debate não pode se limitar a perguntar até onde chegará essa tecnologia: também deve atentar para o custo da transição. Uma sociedade pode aumentar extraordinariamente sua produtividade e gerar mais riqueza ao mesmo tempo em que cresce a desigualdade.
A transformação do trabalho será decisiva. Se uma parcela crescente das tarefas intelectuais puder ser automatizada, não mudarão apenas os postos de trabalho: mudarão também os salários, as vias de acesso ao emprego e o papel que ele desempenha na vida das pessoas. A incerteza diz respeito ao que acontecerá com aqueles que perderem seu lugar no sistema produtivo antes que existam alternativas.
A história das revoluções tecnológicas mostra que o benefício a longo prazo não é incompatível com uma transição dolorosa. A Revolução Industrial aumentou a capacidade produtiva, mas seus benefícios não foram distribuídos de maneira imediata nem equitativa. A inovação pode acabar gerando novas oportunidades e, ao mesmo tempo, impor durante anos custos elevados a determinados grupos.
Talvez a superinteligência capaz de acabar com a humanidade nunca chegue a existir; mas a concentração de poder, a desigualdade, a dependência tecnológica e a perda de capacidades humanas não são cenários de ficção científica
O preço da transição, contudo, não se mede apenas em empregos e salários. Ele também está nas capacidades cognitivas que podemos perder se delegarmos cada vez mais tarefas intelectuais a sistemas capazes de redigir, resumir, resolver problemas e responder perguntas. Na educação, a questão não é proibir qualquer ferramenta, mas distinguir entre quais — ou quais usos — servem para ampliar as próprias capacidades e quais podem atrofiá-las.
Também pode mudar nossa relação com a verdade. Quando se tornar mais difícil distinguir um depoimento autêntico de um gerado artificialmente, a confiança pública ficará mais vulnerável. E se não submetermos as respostas de uma máquina ao mesmo escrutínio que submetemos às humanas, podemos acabar delegando não apenas tarefas, mas também o julgamento.
Para que a transformação que a IA pode trazer não fique determinada exclusivamente pelos interesses de quem a desenvolve, são necessárias decisões políticas, instituições capazes de se antecipar às mudanças, empresas responsáveis e uma educação que preserve o senso crítico. Também é preciso pensar em como amparar aqueles que arcarão com os custos da transição, em vez de dar como certo que o mercado resolverá sozinho as dificuldades que a própria inovação gera.
Talvez a superinteligência capaz de acabar com a humanidade nunca chegue a existir. Mas a concentração de poder, a desigualdade, a dependência tecnológica e a perda de capacidades humanas não são cenários de ficção científica. O perigo não reside unicamente no que uma máquina possa vir a fazer, mas no fato de que os seres humanos, fascinados por suas possibilidades e presos na competição para desenvolvê-la, renunciem a decidir até onde ela deve chegar. O desafio não consiste apenas em evitar uma catástrofe, mas em impedir que o rumo dessa transformação fique nas mãos de poucos e que seus custos recaiam sobre aqueles que têm menos condições de enfrentá-los.
©2026 Aceprensa. Publicado com permissão. Original em espanhol: ¿Y si la inteligencia artificial se nos fuera de las manos?
