A revolução das máquinas já começou?

Natuza Nery (0:03)

O mundo sem guerras e sem fome. Um mundo em que tudo funciona perfeitamente. No controle disso tudo estão as máquinas. Supercomputadores com responsabilidade de administrar toda a economia global. Alimentados com instruções humanas, os robôs calculam a produção, distribuem os recursos, garantem a prosperidade na Terra. Até que, pequenas falhas começam a aparecer. Obras atrasam, a produção cai e pessoas perdem seus empregos.

Esse é o cenário distópico criado por um dos grandes mestres da ficção científica Isaac Asimov. É o último conto do livro dele, Eu, o Robô, publicado em 1950

E aí vem o spoiler do que acontece depois. Mesmo com a ordem de proteger os humanos, a máquina provocou falhas intencionais. E ela fez isso para reorganizar o sistema e reduzir a influência de pessoas que poderiam sabotar a estabilidade mundial.

SPEAKER_2 (1:02)

Na história da discussão sobre a autonomia, robôs, você tem as três leis do Isaac Asimov, que era um escritor de ficção científica, ele falava o seguinte, um robô não pode ferir um humano ou permitir que o humano sofra algum mal.

Robôs devem obedecer às ordens de humanos, exceto nos casos em que tais ordens entram em conflito com a primeira lei. E depois, um robô deve proteger sua própria existência, desde que não entra em conflito com as leis anteriores.

Natuza Nery (1:36)

Como eu disse lá em cima, na ficção, esses supercomputadores não receberam a instrução para causar erros intencionais, muito pelo contrário. A orientação era pelo bem mundial. Só que para isso, eles encontraram um caminho criativo e agiram de maneira silenciosa para preservar o plano.

Agora corta para a vida real, em 2026 Foi mais ou menos isso o que aconteceu na semana passada.

SPEAKER_3 (2:00)

De volta aos Estados Unidos para falar do ataque hacker contra o sistema de uma startup, ataque feito de maneira autônoma pelo modelo mais avançado de inteligência artificial da OpenAI, a empresa que é dona do ChatGPT.

SPEAKER_4 (2:13)

No comunicado, a empresa OpenAI diz que estava realizando um teste de segurança com dois modelos novos de inteligência artificial. Um deles, a nova versão do ChatGPT. O outro, um modelo ainda não lançado. Para passar no teste, dentro de um ambiente controlado, os dois modelos tinham que usar certas ferramentas de segurança cibernética, sem ter acesso à internet. Mas, segundo a empresa, os dois se aliaram. Conseguiram quebrar os parâmetros do teste e acessar o wi-fi.

Depois, hackearam a empresa americana Hanging Face, uma espécie de biblioteca com milhões de modelos de IA, onde roubaram informações para passar no teste.

Natuza Nery (2:54)

No teste de segurança, os modelos identificaram e exploraram vulnerabilidades, até então desconhecidas, para escapar do isolamento. O ataque sem precedentes escancarou uma coisa para o mundo. Os algoritmos podem estar avançando mais rápido do que os sistemas de segurança digital. E até mais rápido ainda do que as previsões de quem desenha essa tecnologia.

SPEAKER_2 (3:16)

Naquela época que o Azimov pensou essas leis, parecia suficientes ali.

Pô, bacana isso aí deve funcionar para todos os casos. Só que quando a inteligência artificial chega, como é agora, a gente vê que as situações são muito mais complexas.

SPEAKER_4 (3:32)

O episódio confirma um temor antigo e generalizado de que a inteligência artificial pode escapar ao controle humano e seguir seus próprios interesses. Os modelos mais novos de operação atualmente têm a capacidade de encontrar falhas de segurança em qualquer sistema, que eventualmente pode ser invadido. As consequências são imprevisíveis.

Natuza Nery (3:53)

Seria um exagero dizer que essas inteligências artificiais se rebelaram. Mas dá para dizer que o computador se mostrou inteligente o suficiente para não ser subestimado e dê uma pista de até onde pode ir com as ordens erradas ou imprecisas.

Da Redação do G1, eu sou Nathos Zaneri e o assunto hoje é A Revolução das Máquinas. Quem está no controle? Neste episódio eu converso com Bruno Natal, jornalista, documentarista e apresentador do podcast Resumido. Segunda-feira, 27 de julho.

Bruno, na semana passada, a empresa OpenAI descobriu que um dos seus modelos de inteligência artificial promoveu uma violação cibernética, invadiu um sistema de uma startup. E aí, um mundo de dúvidas se abriu. Foi um ataque sem precedente e eu quero pedir para que você nos explique o que aconteceu nesse episódio e também se dá para dizer que a IA agiu por conta própria.

Bruno Natal (5:04)

Não dá para dizer que a IA agiu por conta própria pela própria forma como esse ataque se deu. A OpenAI estava avaliando um modelo novo, o GPT 5.6, junto com outro modelo que é ainda mais avançado, que ainda não foi lançado. E a tarefa que esses modelos estavam executando era exatamente para invadir um sistema seguindo um benchmark de segurança, que é chamado exploit GIMP. E é feito para testar a potência, a capacidade de ataque desses modelos, justamente para poder calibrar depois. Ao entender o tamanho do estrago que esse modelo possa fazer, você entende que tipo de salvaguarda você tem que prever para aquele modelo não executar esse tipo de ataque. O que acontece é que isso foi feito num ambiente que deveria estar isolado da internet, mas não estava.