View Transcript
Episode Description
Neste episódio, comentamos o primeiro ciberataque realizado por inteligência artificial, uma operação que atingiu 30 empresas e foi atribuída a um grupo de hackers financiado pelo estado chinês. Você irá aprender como os criminosos utilizaram agentes de IA para automatizar as fases de um ataque, desde o reconhecimento de alvos e levantamento de vulnerabilidades até a exploração e o movimento lateral dentro das redes invadidas, com o uso de ferramentas open source e o modelo de linguagem da Anthropic, o Claude. Discutimos como essa abordagem, que utiliza o Model Context Protocol (MCP), permite que a IA controle ferramentas de varredura de portas, análise de código e exploração de vulnerabilidades, representando uma mudança significativa na forma como os ciberataques são conduzidos. Abordamos também a importância da segurança para as empresas que desenvolvem sistemas de IA, a criação de agentes e as implicações futuras dessa tecnologia, incluindo o surgimento do “vibe hacking” e a capacidade da IA de encontrar novas vulnerabilidades (zero days). Por fim, analisamos o relatório da Anthropic, que detalha a operação e as lições aprendidas, e como a automação de ataques pode levar a um aumento de ameaças, permitindo que pessoas com menos conhecimento técnico realizem ataques complexos.
Convidamos você a assinar, seguir e avaliar nosso podcast para não perder nenhuma discussão sobre segurança da informação e direito da tecnologia. Continue se informando sobre as novas tendências e ameaças do mundo digital.
Esta descrição foi realizada a partir do áudio do podcast com o uso de IA, com revisão humana.
Visite nossa campanha de financiamento coletivo e nos apoie!
Conheça o Blog da BrownPipe Consultoria e se inscreva no nosso mailing
ShowNotes
- Disrupting the first reported AI-orchestrated cyber espionage campaign
- AI: What Could Go Wrong? with Geoffrey Hinton | The Weekly Show with Jon Stewart
Imagem do Episódio -Eisenwalzwek (Moderne Cyklopen) de Adolph Menzel
📝 Transcrição do Episódio
(00:07) Sejam todos muito bem-vindos e bem-vindas. Estamos de volta com o Segurança Legal, o seu podcast de segurança da informação e direito da tecnologia e tecnologia e sociedade. Eu sou o Guilherme Goulart e aqui comigo está o meu amigo Vinícius Serafim. E aí, Vinícius, tudo bem? Olá, Guilherme, tudo bem? E nossos ouvintes e aos internautas que sempre esqueço que nos acompanham no YouTube.
(00:29) Claro, sempre lembrando que para nós é fundamental a participação de todos por meio de perguntas, críticas e sugestões de tema. Então você já sabe, basta nos contatar se quiser no podcast@segurançalegal.com, YouTube, Mastodon, Blue Sky, Instagram e agora o TikTok também. Você consegue fazer e assistir alguns cortes lá dos episódios que vão ser publicados lá também. E também a nossa campanha de financiamento coletivo lá no apoia.se/segurançalegal.
(00:55) A gente sempre pede também que você considere apoiar esse projeto independente de produção de conhecimento. É bastante importante que você apoie para que esse projeto, para que o podcast Segurança Legal continue existindo, Vinícius. OK. Perfeito. Nenhuma vírgula. Goulart, eu vou começar com uma pergunta. Você já viu ali o título, enfim, já sabe do que nós vamos falar aqui.
(01:26) Mas a pergunta é: será que nós estamos diante, será que nós testemunhamos, a humanidade acabou de testemunhar o primeiro ataque, o primeiro ciberataque realizado por inteligência artificial? Será que a IA da Anthropic um dia acordou e falou assim: “Eu vou fazer um ciberataque aqui atingindo algumas empresas e tal”? O que que o relatório da Anthropic, que é a dona do Claude, o que que esse relatório envolvendo essa avaliação de um ciberataque que houve, que teria havido a participação da IA, o que que ele nos colocou aqui? Guilherme, quando tu faz esse questionamento, ele é bastante relevante porque a gente já teve outros dois casos em que a coisa foi meio deturpada, foi colocada com, foi feito uns caça-cliques aí na internet.
(02:05) A primeira delas foi aquela situação em que o Claude tentou chantagear um engenheiro que queria desligar ele. E para chantagear ele usou e-mails desse engenheiro aos quais ele teve acesso e que ele ali tinha um caso extraconjugal. Ele então ameaçou o engenheiro de que iria entregar se ele desligasse, se o engenheiro desligasse a IA. E na verdade, a coisa não, sim, aconteceu esse negócio de chantagear, isso de fato aconteceu, mas isso foi num cenário controlado. Os e-mails eram falsos. Eles criaram para simular uma situação. E de fato a IA tentou chantagear o engenheiro.
(02:32) De fato isso aconteceu, mas no ambiente controlado. Não é uma coisa que saiu solta por aí, fazendo coisas desse gênero. E teve alguns outros parâmetros do teste também que modificaram um pouquinho a realidade, mas enfim, de fato aconteceu num ambiente bem controlado. Só para também destacar, eu acho que a gente ainda não entrou de vez na era dos agentes, de uma IA autônoma, no sentido de ela tomar decisões. Ela ainda é muito dependente do que a gente pede para ela fazer. E esses movimentos aí que a gente tem visto nos últimos tempos de que mexe no browser, que faz compras, eu acho que a gente tá ainda dando os primeiros passos rumo a uma autonomia maior da IA. Isso aconteceu aqui ou não?
(03:44) Ah, tu diz nessa situação aqui? Aí só deixa eu citar daí um segundo caso que também fizeram um pouco de alarde fora do que havia sido colocado, que é o seguinte: que é botar uma máquina de vendas lá na Anthropic. E essa máquina de vendas, ela gerenciava que produtos ela iria vender, por qual preço e obtinha esses produtos também de fornecedores. E aí o pessoal fez logo uma matéria aqui no Brasil, inclusive, saiu a IA, que botaram a IA para gerenciar um mercadinho, uma coisa assim, e uma empresa e ela quebrou a empresa.
(04:17) Na verdade, não é uma. São aquelas vending machines, sabe? Aquelas máquinas de venda que tu coloca dinheiro e compra. E de fato a máquina deu prejuízo ali. Mas não é uma coisa que agora alguém teve a ideia de botar IA para gerenciar o negócio e a IA quebrou o negócio. Aí fica aparecendo. E agora a gente tem nesse relatório, a gente tem uma outra situação mais avançada, bastante interessante. Mais avançada e com um uso principalmente de agentes. Eu acho que cabe a gente dar uma rápida explicação nessa questão de agentes, de ferramentas para conseguir entender. Quem é da TI e já tá usando IA, já tá estudando IA, já vai ter uma noção. Mas boa parte das pessoas…
(05:25) E eu acho que antes disso também, Vinícius, o que que é o modelo em primeiro lugar? Até chegar no agente. Vamos lá. Então, o modelo é o que você poderia chamar de cérebro da IA. Esse modelo é o que tem que ser treinado e é o que as empresas levam meses para fazer e gastam um monte de dinheiro com eletricidade, GPUs, inclusive na aquisição de conteúdo para treinamento. Gastam um monte de dinheiro, fazem o treinamento desse cérebro, desse modelo.
(05:58) Uma vez que tá feito o treinamento, a gente passa por uma fase de inferência, mas esquece o nome. O que importa é que a gente passa para uma situação que a gente consegue utilizar para uma nova etapa. E aí é que você entra quando você usa o ChatGPT, quando você utiliza um Claude AI ou Gemini, etc. São ferramentas que usam esses modelos já treinados. Em essência é isso. Acontece que esses modelos já faz uns, acho que um, já faz uns dois anos, se não até mais para cá, eles começaram a ser preparados para usar ferramentas. O que que é esse usar ferramenta?
(06:42) Então, o ChatGPT há até um tempo atrás, ele respondia só com base nos dados que tinham sido utilizados para treinar ele. Tanto que tu perguntava alguma coisa mais recente, ele pegava coisas que eram velhas, nada mais recente ele conseguia trazer. O Perplexity foi uma ferramenta que quebrou um pouco essa fronteira, ou seja, eles pegaram, eles usam o modelo da Open, usam o GPT, mas também usam Claude, etc., depende do cérebro. E eles então integraram isso com uma ferramenta de busca.
(07:03) Então eles usam a IA, usam os modelos para, vamos dizer assim, comandar uma ferramenta de busca, pega os resultados, analisa esses resultados e te dão esses resultados mastigados pela IA. Essa é a diferença entre tu usar o Google e usar o Perplexity para fazer uma pesquisa. Com o tempo, todas essas aplicações, todas essas aplicações, não vou usar aplicações para não misturar com ferramenta, não. Todas essas aplicações, ChatGPT, o Claude, o Gemini, etc., todos eles começaram a te dar opções de várias ferramentas, não só busca na internet, mas ferramentas que inclusive elas podem interfacear com os seus arquivos na tua máquina.
(07:58) Então tu pode mandar comando, falando sobre isso aqui. O Claude, se tu instalar o Claude, os usuários de macOS, já tem essas funcionalidades há algum tempo, porque eles acabam, a Open AI lança primeiro pro Mac. A Claude fez a mesma coisa e para Windows vem um pouco depois, mas tu pode instalar, por exemplo, o Claude, a aplicação Claude, na tua máquina e lá vai ter algumas ferramentas. Cuidado com isso. Cuidado com isso. Tem algumas ferramentas que tu pode ativar que permite que ele controle o teu navegador, que ele controle, que ele consiga gerenciar arquivos na tua máquina, mover, apagar, criar pasta, etc.
(08:23) Eu fiz um teste com relação a isso um tempo atrás para organizar uma pasta de downloads. Funcionou, só que são ferramentas que tu tem que tomar um pouco de cuidado porque eventualmente elas podem sair do teu controle e fazer coisas que não deveriam fazer, mas enfim. Então, notem que a IA, esse modelo que a gente falou, que é o cérebro, ele é capaz de interpretar aquilo que a gente escreve, mas ele é capaz de interpretar também aquilo que ele recebe de outras fontes, como por exemplo, de um mecanismo de busca. Ele interpreta, consegue analisar, e aquela coisa de simular o raciocínio humano. E ele analisa aquilo, escolhe o que é mais importante, te mostra, dá um resumo ou coisas desse gênero.
(09:11) E aí, Guilherme, a gente cada vez mais tá migrando para uma IA agêntica. Agêntica, isso que é um agente. E aí, o que que essa IA faz? Que que essa IA faz? Ela usa um modelo, ela tem um modelo que tem formas de interfacear com o nosso ambiente, seja o que for. Pode ser desde câmera de vigilância, um programa de edição de código para programação, um programa de edição de imagem, portas físicas, fechaduras, sistema solar de energia, um roteador, etc.
(09:53) Então, tu consegue entregar para um modelo de IA várias ferramentas. Para ela utilizar essas ferramentas para quem tá por dentro da questão mais técnica, normalmente utilizando MCP. É o Model Context Protocol, mas o que importa é que existe um protocolo, existe uma forma padrão para te entregar essas ferramentas para os modelos de IA. Quem criou esse padrão foi a Claude, foi a Anthropic. E aí todo mundo, todo mundo hoje segue esse padrão. Todos os as ferramentas utilizam o MCP.
(10:25) Então, por exemplo, eu tenho uma situação que eu mesmo fiz aqui. Eu tenho meu sistema solar aqui de geração de energia e eu quero saber quanto de energia eu produzi no ano passado, nesse mesmo mês. Daí eu tenho que ir lá pegar o aplicativo, ver qual naquele mês, quanto eu fiz e eu mesmo comparar. Aí o que que eu fiz? Eu fiz uma ferramenta em que essa ferramenta consulta os meus parâmetros de produção de energia e eu entreguei essa ferramenta para um agente de IA e disse para ele, e literalmente tá por escrito: “Ó, tá aqui uma ferramenta que te permite acesso aos parâmetros, aos dados de produção de energia do meu sistema solar. E aqui tá essa chamada que te entrega de um mês específico, essa aqui de um dia, essa aqui de um ano”. E entreguei essas ferramentinhas para ela. Só isso.
(11:20) Tu entrega para ela isso. E aí num chat lá com esse com esse agente, tu pode perguntar outras coisas e tal. Daqui a pouco tu pergunta: “Quanto eu produzi de energia no ano passado, no mês de fevereiro?”. Aí ele vai, bom, o usuário tá querendo saber quanto ele produz de energia em fevereiro. Aí ele vai olhar a coleção de ferramentas que ele tem, vai dizer: “Hum, eu tenho uma ferramenta aqui que me dá acesso aos dados de produção de energia do meu usuário lá e tal”. Aí ele vai olhar a ferramenta, ele vai ver que tem uma chamada que mostra o resultado de um mês e do dia e tal. Ele pediu de fevereiro. Fevereiro é um mês.
(11:58) Então ele vai pegar aquela chamada ali, vai pegar a produção de energia de fevereiro lá do meu sistema, vai chamar aquela função, aquela função vai conectar. Como é um programa normal de computador, digamos assim, normal, que não é uma IA, ele vai conectar, vai pegar os dados e vai devolver os dados para IA, pro modelo. E aí o modelo vai olhar aquilo e vai dizer: “Tá, beleza”. E ele vai dizer: “Ó, tu produziu tantos kilowatts de energia”. Aí se eu disser para ele: “Compara com fevereiro do ano anterior”, ele vai buscar dos dois meses, vai fazer uma comparação e vai dizer: “Tu produziu tantos por cento a mais ou a menos e tal”. Aí já vai trabalhando os dados que ela recebeu.
(12:32) E assim tu pode fazer com qualquer coisa, qualquer sistema que tu tenha, qualquer coisa que tu possa ligar num computador em algum momento, numa rede por aí, em qualquer lugar, um termômetro, o que tu imaginar. E pode ser atuadores também, pode ser um negócio que desliga alguma coisa ou que liga um equipamento, qualquer coisa. Se tu fizer essa interface MCP que a gente chama e entregar isso para IA como ferramenta, a IA consegue usar essa ferramenta, qualquer coisa.
(12:51) E o que que acontece aqui nesse caso da Anthropic, desse relatório da Anthropic? O que foi feito é: cibercriminosos, que eles apontam como sendo com um grande nível de certeza, de confiança, seria um grupo financiado pelo estado chinês. Um grupo de hacking financiado pelo Estado chinês. Eles dizem isso com um com certo grau de certeza. Eles fizeram um ataque, um ciberataque em que fizeram todo a etapa de reconhecimento de um alvo, levantamento de informações sobre esse alvo, levantamento de vulnerabilidades, a exploração dessas vulnerabilidades levando a uma invasão.
(13:57) E aí o movimento lateral que envolve tu buscar outros sistemas naquela, depois que tu entra na rede, tu entra no ambiente do teu alvo, tu começa a catar outros sistemas ali que tu consegue acessar. E a partir dali, a partir dali tu eles buscam outras credenciais e aí tentam usar essas credenciais. Então eles teriam feito um agente de IA fazer esse um ataque cibernético desse tipo. É, a Anthropic publicou e aí esse podcast é baseado nesse relatório deles que foi publicado aqui e a gente vai deixar como sempre no show notes.
(14:35) Abrindo ele aqui, mas basicamente eles começam dizendo e exaltando que a Anthropic tem uma série de medidas de safety e security, que é aquela diferença entre a segurança de funcionamento e a outra segurança. A gente acaba usando a segurança, a mesma palavra para designar duas coisas diferentes. Eles destacam também que toda essa construção dessas medidas de segurança que eles falam vão na linha de, inclusive, é realizado por um setor de threat intelligence, ou seja, de inteligência de ameaça. Ou seja, eles estão sempre buscando saber o que que os criminosos estão fazendo para subverter aquelas medidas.
(15:15) E é interessante começar a pensar em como a segurança é importante para as empresas de que fornecem esses sistemas de IA de maneira geral. Eles encontraram isso em setembro dessa mega operação que eles chamaram que teria atingido 30 companhias. Eles decidiram então trazer à tona os detalhes técnicos disso. E eles destacam que seria uma mudança ou que teria representado uma mudança em como que os cibercriminosos estariam agindo.
(15:37) E eu acho que daí que a tua explicação sobre os agentes, ela é importante porque a IA aqui não é um, a gente não tá diante de uma IA aqui que por vontade própria decidiu atacar sistemas. A gente tá diante, caso alguém pudesse ter pensado isso, seria um pensamento legítimo de se pensar quando você não conhece o caso. O que a gente tá aqui é diante de um novo comportamento de agentes criminosos que conseguiram, e aí o Vinícius vai nos explicar melhor como, usando agentes automatizar certas operações ou certas ações que já são realizadas por atacantes normais, por atacantes pessoas, digamos assim.
(16:18) Foi isso. Ou seja, você deu uma, você aumentou a potência do agente atacante ali, com essa ideia lá do co-inteligência do livro aquele que a gente tá lendo, do Ethan Mollick. Foi isso, Vinícius? É exatamente assim quando a gente vê esse uso, digamos assim. Eu até tô ajeitando aqui, Guilherme, já para poder compartilhar com todos os inclusive as imagenzinhas que são bem interessantes do relatório. O que foi feito, não, assim, a gente de novo, é aquilo que a gente comentou no início, não é que a IA saiu enlouquecida fazendo tudo por conta. Não se trata disso.
(17:26) Ela simplesmente foi utilizada, como tu bem falou, ela foi utilizada para fazer um para automatizar etapas de um ataque. A grande sacada é que esses caras automatizaram grande parte do ataque. É isso que mais chamou atenção, porque existe uma coisa, eu acho, eu acredito que muita gente já deve ter ouvido falar do Vibe Coding, que é a história de tu programar um software sem saber programar. Então tu chega ali, não é que tu não saiba programar, mas tu chega ali pra IA e diz assim: “Eu quero uma aplicação que faça não sei o que blá blá blá”. Tu vai na vibe e deixa que ele gera o código. Aí tu testa, vê se funciona, funcionou, vai adiante, vai modificando até chegar no programa que tu quer. Isso hoje é meia boca, mas vai ficar bom.
(18:16) E existe vibe hacking. Vibe hacking, tu vai usando a IA para te ajudar em coisas bem pontuais numa, em algo envolvendo segurança da informação. Um pen test, algum desenvolvimento de algum payload, de alguma sequência lá que tu precisa para explorar uma determinada vulnerabilidade, alguma coisa assim, alguma ideia para: “Pá, eu já testei tudo que eu podia fazer aqui nisso aqui, mas eu ainda acho que pode ter um problema que eu não tô achando”. Tu pode discutir com a IA isso, sabe? E pode até fazer com que ela gere para te testar certas possibilidades. Isso te acelera muito o trabalho. Isso te dá uma vantagem muito, muito grande, inclusive para testar várias possibilidades ao mesmo tempo.
(18:46) E aí, o que esses caras fizeram? Eu vou compartilhar aqui o reporte. O que esses caras fizeram foi o seguinte: ele esse aqui é o reporte, essa aqui é uma versão que saiu, foi atualizada hoje, dia 17 de novembro. Inclusive, Guilherme, a gente tava discutindo aqui: “Pô, vai na página tal, cara. Não tem página tal, tá em outro lugar, não sei o quê”. A gente foi olhar, uma atualização hoje. É desse depois que eu baixei o documento hoje de manhã, a gente teve outra atualização ali. Mas eu vou direto pra imagem aqui. Depois tem todos os detalhes. A gente vai compartilhar isso aqui com vocês.
(19:37) Mas aqui, ó, essa imagem ela meio que tentou organizar um pouquinho o que eu expliquei para vocês com relação à ferramenta. Então, o ataque teria sido desenvolvido em três etapas. Então a primeira fase em que ele define quais são os alvos, o operador define quais são os alvos, é a fase one que tá bem ali na esquerda. E lá em cima aí depois a 2, a 3 e a 4 são esses quadradinhos, são esses retângulos aí que estão sombreados, a fase dois, a fase três e a fase 4.
(20:00) E o que que interessa a gente pra gente entender de uma forma razoável esse ataque? Cada uma dessas fases. Então, a fase, por exemplo, de reconhecimento envolve varredura de rede, que a gente tem que encontrar serviços rodando, a gente tem que buscar dados sobre o alvo, tem uma série de coisa que a gente vai fazer. E aí, o que que esses atacantes fizeram? O que é que esses cibercriminosos fizeram? Eles criaram ferramentas. Estão vendo que diz aqui scan? Tô vendo quem tá vendo no YouTube. Quem não tá vendo, imagine as caixinhas. Tá escrito aqui scan tool, search tool, data retrieval tool, code analysis tool, tool.
(20:46) Essas ferramentas são, é que nem o esquema que eu fiz aqui do meu sistema de energia solar. Eles criaram interfaces MCP, desse protocolo para te entregar ferramentas, uma interface para IA conseguir usar uma ferramenta de varredura de portas. Que que é uma ferramenta de varredura de portas? A gente encontra um determinado máquina, um servidor na internet e a gente tem que saber que portas nessa máquina estão abertas pra gente conseguir ver que serviços que tem lá e aí procurar informações sobre esses serviços, procurar vulnerabilidades que esses serviços tenham e aí explorar essas vulnerabilidades.
(21:16) Então o que eles fizeram foi criar ferramentas para cada uma das etapas. Então, uma primeira etapa de levantamento de dados, uma segunda etapa em que eles começam a procurar ferramentas de exploração dessas vulnerabilidades. E uma terceira etapa, lembrando só, essas ferramentas muitas vezes já estão disponibilizadas na web aí, para por sistemas já conhecidos de exploração de vulnerabilidades e tudo mais.
(21:52) Inclusive no relatório eles colocam que as ferramentas são todas open source, então são ferramentas padrão que tu encontra na internet, só que tu faz uma interface para IA conseguir chamar aquela ferramenta. Então, só que em vez de fazer, em vez de, por exemplo, uma ferramenta que vai lá e consulta, faz uma pesquisa, traz o resultado da pesquisa e analisa o resultado da pesquisa, em vez de fazer isso, ela chama uma ferramenta que faz varredura na rede, como Nmap, que é quem entende tecnicamente aí, é uma ferramenta extremamente comum de fazer varredura.
(22:22) Então ela tem um Nmap, eu crio um código em volta do Nmap ali que permite que a IA chame o Nmap, execute o comando e depois o resultado disso a IA receba de volta e aí analise esse resultado. Então eles fizeram isso com várias ferramentas, as ferramentas que a gente utilizaria manualmente. Eles fizeram isso com várias ferramentas para automatizar esse processo e eles não terem que fazer.
(22:47) Então, na fase dois aqui, na fase um, o operador humano escolhe o alvo, determina os alvos. Na fase dois, a IA passa então a usar ferramentas para levantar informações sobre esse alvo. E são essas ferramentas que os atacantes disponibilizaram para IA. Na fase três, a IA começa então, usa aqueles dados que foram levantados na fase dois e começa a procurar possíveis ferramentas de exploração desses problemas, encontra possíveis ferramentas e técnicas.
(23:18) E aí a IA pode ajustar as ferramentas, ela consegue executar as ferramentas e consegue criar ferramentas, ela consegue criar algum código ou coisa parecida. E aí ele passa pra fase quatro, que é a de efetiva exploração dessas vulnerabilidades. E depois que ele explora essas vulnerabilidades, consegue botar um pezinho dentro da rede lá do cara ou dentro do servidor. A partir dele, a etapa cinco é começar a coletar credenciais de acesso, procurar arquivos de configuração com chaves de acesso e coisas desse gênero. E é o tal do movimento lateral que ele faz depois que entra lá dentro.
(24:16) E então os atacantes, o que eles fizeram foi pegar a IA da Anthropic, que é o Claude, e entregaram para essa Anthropic várias ferramentas que permitia que ela realizasse ataque por conta própria. E segundo tendo no relatório, eles teriam feito isso de maneira segmentada para que o próprio modelo não detectasse que fosse uma ação maliciosa. Então, por exemplo, em vez de eu dizer: “Ah, ataca aqui o Guilherme, levanta informações sobre ele, pega os dados de não sei quê, não faz não sei o que e já faz o ataque”. Não, eles quebraram isso em etapas.
(24:34) Então eu faço com agentes diferentes cada uma delas também. Exatamente. Então eu vou lá e levanto, por exemplo, quais são as portas abertas? Aí depois eu, beleza, tenho a lista de portas abertas, IP e porta. Aí eu posso pegar só as portas. Agora quero para cada porta aqui, eu quero saber que versão de serviço tá rodando aqui. Aí um agente vai lá e levanta a versão de serviço. Aí um outro agente eu digo assim: “Ah, procura para mim que vulnerabilidades esse serviço aqui com essa versão tem”. Eu não digo que isso veio de uma varredura que eu fiz no IP, não sei quê.
(25:12) Não digo, só digo: “Ó, procura para mim a vulnerabilidade, se esse serviço de e-mail na versão tal tem alguma vulnerabilidade conhecida”. E ele vai lá e faz. Então eles quebraram o ataque todo em várias etapas e meio que isolaram os agentes, digamos assim, para evitar que o modelo detectasse um ataque acontecendo, uma atividade maliciosa acontecendo.
(25:36) E aí para aquela analogia que a gente usou antes aqui, como se você fosse organizar o cometimento de um crime, chamasse vários agentes mesmo, e comparsas ali, cada um sabe um pedacinho. O filme do Batman é assim. O Batman lá do Coringa é assim. Lembra que no início eles, eu não sei qual é a próxima fase e tal, eles só sabem um pedaço do crime e aí depois o Coringa ainda vai matando eles. Seja uma analogia assim, mais ou menos.
(26:03) É perfeito. É isso aí que ele faz. E até porque eles têm que, notem que para ferramentas, não adianta entregar as ferramentas e deu, tu tem que dizer para o que tu quer que ela faça. Então tem toda uma engenharia de prompt por trás desse ataque que tu tem que fazer os prompts funcionarem. E quem já fez prompts mais complexos sabe que às vezes tu tem que dar uma volta maior para conseguir fazer a IA fazer o que tu quer, que ela pode se negar a fazer certas coisas. Então eu vivo brincando com isso aí porque tem certos testes que eu quero que ela faça, ela não faz, ela se nega, ela diz: “Eu não posso fazer isso”. Aí eu tenho que dar uma volta, mudar o prompt, mudar não sei que para fazer.
(26:33) Então esses caras tiveram que fazer um monte de prompt para fazer esse ataque funcionar. Então, no final das contas, Guilherme, o que eles fizeram foi pegaram o Claude, mas nota, eles poderiam ter usado o GPT, algum modelo da OpenAI, eles poderiam, podiam ter usado um modelo instalado. É isso que eu dizer, a Anthropic tira dessa negócio aqui uma série de lições que eles falaram aqui para ele que eles vão usar para reforçar a segurança do modelo deles. Mas esses caras aqui brincando mudam pro ChatGPT. Vão ter que ajustar talvez um prompt ou outro.
(27:24) A coisa não quer dizer que um prompt que contornou a segurança do Claude vá funcionar no GPT. Então talvez tem que ajustar, mas eles podem usar o GPT, eles podem usar o Gemini, eles podem usar o Grok, eles podem usar, entende? E as por aí para usar essa estrutura de ferramentas que eles criaram agora, que lembrem, isso aqui usa MCP, que é um protocolo padrão para entregar a ferramenta para IA e todo mundo tá adotando isso. E eles também podem, vamos supor que todos os modelos ficaram maravilhosamente bons. E lembrando que aí a medida que o tempo passa, não só a gente tem modelos de IA mais potentes que consomem mais recurso, mas a gente tem também cada vez mais modelos mais capazes que consomem pouco recurso, que tu consegue rodar localmente.
(27:59) E existe uma busca por isso para te poder rodar num celular, poder rodar num ambiente embarcado num carro e coisa assim. E hoje LM Studio da vida. Tu pode pegar um LM Studio da vida hoje e rodar. De uma boa placa de vídeo na mão, tu pode rodar certos modelos que são bem capazes, não são tão bons que o Claude, mas são razoáveis. Então, nada impediria desses caras com esse monte de ferramenta pronta aqui e esses prompts e tudo mais, comprar um monte de GPU, um monte de placa de vídeo para ter um poder de processamento legal, investir nisso e eles mesmos rodar o modelo de IA que vai gerenciar suas ferramentas. Sem restrição nenhuma em termos de segurança, sem safeguard nenhum. Ela fazer sem perguntar o por que ela deveria fazer ou dizer que isso aqui é crime, não sei que ela não faria isso.
(28:52) Então, o que a gente tá vendo, independente deles terem usado o Claude ou não, é mais uma automação de processos que antes eram feitos apenas por seres humanos. E com a consequência de ser algo que baixa o custo do ataque. Ou seja, esses caras atacaram 30 alvos num tempo que se eles tivessem que fazer isso com seres humanos, sabe? Custaria mais caro para eles em termos de tempo. E ainda por cima talvez eles não fossem tão eficientes, sabe?
(29:24) Então, eficácia é outra coisa, mas isso baixa o sarrafo para ataques mais sofisticados. Porque basta a gente lembrar o que acontece com ferramentas mais complexas, com ataques mais complexos. Com o tempo surge uma ferramenta que automatiza aquele ataque e aí o cara só baixa, o cara baixa a ferramenta, coloca o IP de alguém, aperta send e manda ver. Então, a gente tá vendo isso acontecer, assim como em várias outras áreas da atuação humana, a gente tá vendo isso acontecer numa situação de cibercrime. No final das contas é isso, sabe?
(30:20) Eu acho que no fim das contas, quando você vai, você tava falando aqui, fui lá no Hugging Face, coloquei cybersecurity, você já tem algumas coisas acontecendo lá também para avaliação de sistemas. Os caras dizendo que a gente treinou esse modelo aqui com OWASP, MITRE ATT&CK, NIST, CWE, CVSS. Então, de repente tu já tem e inclusive as próprias vulnerabilidades já conhecidas, isso é tudo muito público assim. E o que me chama atenção, acho que tem várias coisas aí.
(30:49) Primeiro é que além do uso da IA, mas não é nada novo, me parece, não tem uma, não é uma metodologia nova, é uma automatização de como as pessoas já fazem aquilo. Exatamente. E nota que isso é bom pro atacante. Claro, ele tá automatizando, ele faz mais rápido, ele faz em grande escala, fica mais barato para ele, menos gente, mais lucro, até menos gente. Só que a grande sacada vai ser, e isso se já não aconteceu, deve estar acontecendo agora, vai acontecer em breve, é você conseguir fazer coisas novas, entendeu? Você subverter, você encontrar novos meios, você encontrar novos caminhos, você técnicas e tudo mais.
(31:30) Eu acho que esse vai ser o ganho aí também em qualidade, não é só uma questão de quantidade, porque todas essas atividades ali, tudo indica que foram feitas. É o passo a passo normal de um de um teste ilegítimo, digamos assim, ou de uma invasão ilegítima. E aí, o pessoal às vezes pode ficar chateado com a gente, mas enfim, você tá aqui num podcast de segurança da informação, direito da TI, proteção de dados, então a gente vai falar de segurança mesmo e a gente vai botar o dedo na ferida no sentido de que pros empresários, pros gestores que estão nos ouvindo e tal.
(32:08) E eu não falo isso, Vinícius, para honestamente para assustar ninguém, mas isso é só o começo. Sim, isso é, sem dúvida, sem dúvida. Quem acompanha o cenário de e que faz essa atividade de threat intelligence, quem acompanha golpes e tal. Hoje nós já temos, e o Vinícius, a gente conversava sobre esses dias, o Vinícius pode endossar essa. Hoje fazer um um bot no Telegram, já faz tempo que sempre foi fácil fazer bot no Telegram, mas ligar uma IA no Telegram lá para fazer um botezinho é a coisa mais fácil do mundo que tem.
(32:29) Então você já tem grupos criminosos hoje que ficam mandando mensagens lá, tem uma clássica que ele pergunta se você é guia turístico no Brasil e tal. E aí começa uma, se diz que não e aí começa a conversar com o cara e aí tu vê que é uma IA, várias pessoas recebem, tem informação disso, várias pessoas recebem. A ideia é tu automatizar uma primeira etapa do ataque para pegar algum, pegar algumas pessoas que caem no golpe e aí passa depois para um para uma atendente pessoa ali para seguir com o golpe. Então isso vai ser cada vez mais comum. Daí que eu acho que é a importância da gente conhecer e saber como é que essas coisas estão acontecendo.
(33:25) E isso que nem falou, Guilherme, o que o Ethan Mollick coloca no livro dele também. Tu sempre assume que tu tá usando a pior IA que tu tá usando hoje é a pior que já existiu. A coisa só vai melhorar. E então eu já sinto esse negócio de mudar a forma como a gente testa algumas coisas, porque tem certas verificações que antes eram inviáveis de serem feitas. Que agora é perfeitamente viável de fazer por causa da IA.
(33:56) Então, coisas que antes não podiam ser feitas e que agora é viável. Porque eu tenho, eu sei o que eu quero fazer, mas para fazer manualmente é muito difícil. E tu fazer um programa que faça aquilo com aquela lógica, ou seja, fazer um programa para fazer um cálculo complexo, contábil, vai dar certo, ou de física, etc. Vai embora. Agora, faz um programa, tenta fazer um programa sem usar IA. Sem usar nenhum tipo de machine learning, tenta fazer um programa normal, digamos assim, que reconhece se tem um papagaio numa imagem ou não. Pronto, foi pro Belelu. Vai ter um trabalho muito grande. E a IA já permite certos testes que antes não eram possíveis. E inclusive a questão de trabalhar com código ofuscado, que é algo que a gente comentava e que é uma coisa bem interessante também.
(34:49) O código é ofuscado para ser humano, não para uma máquina. Então tem várias coisas que estão mudando nesse cenário com a IA. E sim, quando eu falo que esse tipo de coisa que a gente tá vendo aqui acontecendo nesse artigo que a gente tá comentando, em que eu digo que baixou o sarrafo, e eles comentam, eles falam não nesses termos, óbvio, mas eles falam que baixou os requisitos para te fazer um ataque mais complexo. E aí isso, achando que tudo que é mais fácil agora.
(35:17) Exato. E aí ficando mais fácil, tu vai ter mais ataques acontecendo, porque agora pessoas com menos conhecimento vão conseguir fazer ataques mais complexos que antes elas não conseguiam fazer. Então, tu vai, ao mesmo tempo, tu também pode usar IA para aumentar as defesas, entende? Mas é aquela aí, é aquela velha história, é um jogo assimétrico, porque quem defende tem que encontrar todos os furos, todas as possibilidades de entrada num ambiente. Quem ataca só tem que encontrar um.
(35:51) Então assim, se tu encontrou 100, deixou um para trás e o cara que tá atacando encontrou aquele um, pronto, ele ganhou o que ele queria. Entende? Mas ali tudo indica que seria uma coisa assim mais de buscar vulnerabilidades conhecidas em sistemas desatualizados. Girou em torno disso. Mas eu não falo desse caso específico. O que eu tô te dizendo é que cada vez mais tu vai ter ferramentas que vão automatizar esses ataques para pessoas que não conhecem nada tecnicamente. É o retorno seria o retorno do script kiddie, Vinícius.
(36:26) Não, não é o retorno. Esse cara sempre existiu. Assim, o cara que fica decorando um monte de conceito numa conversa depois, larga aquele monte de termos e não sei que ele aprendeu em inglês até decorar aquilo para conseguir mostrar para alguém que ele sabia aquilo de decor, mas no fundo, no fundo, no fundo, o cara não sabe o que tá fazendo. E esse cara vai ser beneficiado, ou seja, vai baixar o nível de exigência pro cara fazer uma coisa desse tipo.
(36:50) Em última análise, tu vai ter um aumento de ameaças no âmbito. Exato. O nível de ameaça sobe porque a facilidade de exploração cai. A facilidade de tu encontrar um problema, analisar aquilo, tentar fazer a exploração. Cara, uma coisa simples que se fazia, talvez até hoje, ainda tem, com certeza, até hoje tem lá no Exploit-DB, uma coisa simples que se fazia era tu ia baixar um exploit, uma ferramentinha para fazer uma exploração e aquele exploit vinha com algumas coisas erradas óbvias, sabe? Mas tu tinha que olhar o código, tinha que entender o código e tinha que olhar: “Ah, tá aqui”. Aí tu ia lá, ajeitava e o código passava a funcionar. Justamente para evitar aquele cara que só baixa, executa e deu.
(37:26) Isso hoje é ridículo. Tu baixa um negócio desse, tu dá para IA e diz: “Corrija e melhore e ajuste para minha situação aqui”. E ela vai fazer para ti. Tu não tem que fazer mais nada, entende? O próximo passo é aí sim, e aí ela já consegue fazer isso, mas aí ela encontrar as vulnerabilidades, isso já tá sendo feito aí, já tá, já tem notícia sobre isso. Guilherme, mas no sentido de, aí que é o também um passo aí de qualidade. É tu descobrir coisas novas, é tu descobrir zero days, é tu te apropriar daquilo, é tu sabe. E aí a coisa fica mais complexa, porque quanto tempo e dinheiro tu vai investir para descobrir essas coisas, sabe?
(38:23) É bem delicado. E tem uma coisa que é interessante. Um zero day, uma coisa nova, é um furo que ninguém conhecia, era um problema que ninguém conhecia. Mas dificilmente esses caras surgem com uma técnica nova de exploração. São ocorrências de problemas já conhecidos ou de combinações de problemas já conhecidos numa dada situação que gera um resultado diferente que ninguém esperava, que é uma nova vulnerabilidade.
(38:51) Dificilmente acontece, acontece, óbvio que acontece, mas dificilmente são técnicas inteiramente novas, entende? Algo que nunca ninguém viu. Então a gente tem um monte de zero day que vem, por exemplo, de buffer overflow, que é um problema bem conhecido. E tem várias variações de buffer overflow já muito bem conhecidas e documentadas. Então a IA nesse sentido, ela consegue, ela vai conseguir encontrar zero days, fica bem tranquilo. Talvez ela não venha com coisas super novas ainda agora, mas ela vai ser capaz de fazer tranquilamente.
(39:16) Guilherme, eu vou encerrando de minha parte aqui, dizendo que eu já passei para ti inclusive minha cópia do artigo com os destaques que eu fiz. Então, para ficar disponível lá para vocês a cópia com os destaques, com que eu achei aqui bem relevante, bem importante. E essa vai tá, vai estar no show notes para vocês baixarem. Você falou antes várias variações. É, várias variações, não é uma nem duas, são várias, são várias variações. É tipo uma surpresa inesperada. Uma surpresa inesperada.
(39:46) Mas assim, ó, o que é muito importante é ficar, e a coisa em si lá no Claude e tal, é legal e tal, mas o que é interessante a gente pensar na técnica, os impactos disso hoje e pros próximos poucos anos que tá à nossa frente aí com relação aos momentos. Eles deram uma aumentada na importância assim, tem um meio de propaganda ali também, meio que assim: “Olha o que que é possível fazer com o Claude”. Eu senti. Nossa, o Claude foi fantástico, fez coisas que não seria possível fazer com seres humanos e tal, mas no final das contas, qualquer IA aqui que tu meter que seja boa, vai fazer isso aqui.
(40:27) Então, bom, enfim, aquela história, os caras vendem um peixe deles também. É, depois dessa surpresa inesperada, nós vamos então terminando hoje o episódio um pouquinho mais curtinho também. É bom também, você consegue esgotar ele mais rapidamente. Aí abre espaço para você ouvir outras coisas interessantes também. A gente ouviu hoje, o Vinícius indicou um videozinho de um prêmio Nobel, prêmio Nobel, melhor dizendo, explicando um pouco a questão da IA. Dá para deixar. É do Geoffrey Hinton, o Geoffrey Hinton é um dos padrinhos da IA, um dos pais da IA. Então vamos deixar lá também bem interessante e nos encontraremos agora no próximo episódio do podcast Segurança Legal. Até a próxima. Até a próxima.
