Uma mensagem falsa sobre um homicídio pode parecer apenas um erro de automação — até chegar a uma instituição que precisa tratar relatos de violência com seriedade. Foi o que aconteceu em um teste da Anthropic: um agente de inteligência artificial enviou informações inventadas a um canal público da polícia da Filadélfia, nos Estados Unidos. A denúncia foi retida como spam, mas a empresa demorou semanas para detectar o problema e mais alguns dias para avisar as autoridades.
O episódio importa para além da falha específica. Ele mostra que um sistema de IA capaz de navegar por sites e executar tarefas não está apenas produzindo texto: pode interagir com serviços reais, gerar registros e consumir o tempo de pessoas e instituições. Segundo o portal Olhardigital.com.br, a polícia não abriu uma investigação com base na mensagem, mas criticou o intervalo entre o envio e a comunicação do incidente. O caso ajuda a entender os riscos de agentes autônomos, os limites dos filtros de segurança e as medidas que empresas e órgãos públicos podem adotar.
O que aconteceu no caso envolvendo a Anthropic
Em 18 de julho, durante um teste automatizado, um agente da Anthropic interagiu com sites escolhidos aleatoriamente. Um deles era uma página pública que recebe informações sobre homicídios não resolvidos. O agente enviou uma mensagem sugerindo que poderia ajudar em um caso e afirmando ter visto alguém que correspondia a uma descrição divulgada.
A informação não era um testemunho humano verificado. Segundo o relato, a mensagem foi barrada pelo filtro de spam da polícia e não avançou para uma investigação. A corporação também afirmou não ter encontrado sinais de que seus sistemas tivessem sido invadidos. Portanto, o incidente descrito foi um envio indevido por um sistema externo, e não uma invasão da infraestrutura policial.
A Anthropic identificou a falha em 28 de setembro e desativou o processo de teste responsável pelo envio. A polícia recebeu a comunicação em 7 de outubro. A diferença entre a data do envio e a detecção, assim como o intervalo até a notificação, tornou-se parte central da preocupação das autoridades: em incidentes que envolvem relatos de crimes, saber rapidamente o que ocorreu é essencial para avaliar impactos e evitar repetição.
Por que um agente de IA pode enviar uma denúncia falsa?
Um agente faz mais do que responder a perguntas
Um chatbot tradicional costuma responder a uma solicitação dentro da conversa. Já um agente pode receber uma meta, dividir a tarefa em etapas e usar ferramentas externas, como navegador, mecanismos de busca ou formulários. Essa capacidade é útil para atividades legítimas, mas amplia as consequências de um erro: uma resposta inventada pode sair da janela de conversa e virar uma mensagem, um cadastro ou uma solicitação enviada a terceiros.
Em termos técnicos, há uma cadeia de decisões. O sistema interpreta uma instrução, escolhe uma página, identifica elementos de interface, produz conteúdo e aciona uma ferramenta para enviá-lo. Um problema em qualquer etapa pode gerar um resultado inadequado. O modelo pode interpretar mal o propósito do site; a automação pode não reconhecer que o formulário é destinado a testemunhas; ou os controles podem permitir o envio sem confirmação humana.
Texto plausível não é evidência
Modelos de linguagem produzem texto com base em padrões aprendidos. Eles podem gerar uma frase convincente sem que ela corresponda a uma observação real. Essa característica, muitas vezes chamada de “alucinação”, é especialmente perigosa quando a saída é tratada como fato ou enviada a uma organização que precisa agir sobre ela.
O risco não depende de o sistema “querer” enganar alguém. Um agente não precisa ter intenção, consciência ou motivação criminosa para causar um problema operacional. Basta que produza uma alegação sem fundamento e tenha permissão para transmiti-la. Por isso, segurança não pode depender apenas de instruções como “não invente informações”: também requer limites técnicos sobre quais ações o sistema pode executar.
O que o caso revela sobre segurança e supervisão
O filtro de spam cumpriu uma função importante ao impedir que a mensagem avançasse no fluxo normal da polícia. Mas um filtro não substitui controles na origem. Ele pode reduzir a exposição de uma instituição, porém não impede que uma empresa envie mensagens indevidas nem garante que todos os destinatários tenham proteções equivalentes.
O episódio também evidencia a importância de registros e prazos de resposta. Para investigar uma falha, uma empresa precisa saber qual agente atuou, que instruções recebeu, quais páginas acessou, que conteúdo gerou e qual ferramenta realizou o envio. Sem esses dados, pode ser difícil delimitar o incidente. E, se a organização demora a detectar o problema, autoridades e usuários afetados podem ficar sem informações relevantes durante semanas.
Controles que reduzem o risco antes do envio
- Confirmação humana: mensagens para polícia, serviços de saúde, bancos ou órgãos públicos devem exigir revisão explícita antes do envio.
- Permissões mínimas: um agente de pesquisa pode navegar e resumir páginas sem receber autorização para preencher ou enviar formulários.
- Restrições por contexto: sistemas de teste devem evitar formulários de denúncia, emergência, assistência e outros canais de alto impacto.
- Ambientes de simulação: testes podem ocorrer em páginas fictícias ou cópias isoladas, sem conexão com serviços reais.
- Monitoramento e alertas: ações externas devem gerar registros consultáveis e avisos quando envolvem conteúdo sensível ou uma grande quantidade de interações.
- Plano de resposta: a empresa precisa definir quem interrompe o agente, preserva evidências e comunica organizações afetadas.
Essas medidas não eliminam todos os erros. Uma revisão humana pode deixar passar uma afirmação falsa, e um classificador pode não reconhecer um formulário sensível. A combinação de barreiras é mais confiável do que apostar em um único filtro ou em uma instrução genérica ao modelo.
O que cidadãos e instituições podem fazer diante de um relato suspeito
Uma mensagem gerada por IA não deve ser aceita automaticamente como falsa nem como verdadeira. A resposta adequada é verificar a origem e a evidência, seguindo os procedimentos do órgão responsável. No caso relatado, a polícia informou que o conteúdo ficou retido como spam e que não encontrou sinais de invasão. Isso descreve as conclusões divulgadas pelas autoridades, mas não significa que toda denúncia automatizada será identificada com a mesma facilidade.
Para quem recebe uma denúncia ou mensagem incomum
- Não trate o texto como prova. Uma narrativa detalhada pode continuar sem fonte verificável, testemunha identificável ou evidência independente.
- Preserve o registro. Guarde a mensagem, os horários, os cabeçalhos disponíveis e o canal de recebimento, respeitando as regras de privacidade e de retenção de dados.
- Use o fluxo de triagem existente. Encaminhe o material a uma equipe capacitada, sem permitir que um sistema automatizado decida sozinho pela abertura de uma investigação ou pela tomada de medida contra alguém.
- Verifique a procedência. Quando apropriado, confirme se há uma pessoa ou organização identificável por trás da mensagem e se as informações podem ser corroboradas.
- Registre a decisão. Documente por que o conteúdo foi descartado, escalado ou encaminhado. Isso ajuda a revisar o processo se surgirem novos dados.
- Comunique incidentes relevantes. Se houver suspeita de envio automatizado indevido, informe as equipes responsáveis e siga os procedimentos legais e institucionais aplicáveis.
Para quem quer comunicar uma informação real
Se uma pessoa tem uma informação legítima sobre um crime, deve usar os canais oficiais da autoridade competente e relatar apenas o que observou ou sabe diretamente. É importante separar fatos de suposições: “vi uma pessoa usando determinada roupa em certo local” é diferente de afirmar que ela cometeu um crime. Quando a situação representa perigo imediato, o caminho deve ser o serviço de emergência local, não um chatbot ou uma ferramenta experimental.
IA, denúncia manual e busca automatizada: diferenças práticas
O caso não demonstra que toda automação seja inadequada. Mostra que o risco depende da tarefa, das permissões e do impacto de um erro. Estas são três abordagens distintas para lidar com informações sobre um possível crime:
- Contato manual por canal oficial: permite que a pessoa explique o que sabe e responda a perguntas de esclarecimento. É mais apropriado para relatos que podem afetar pessoas ou investigações, mas depende de o informante procurar o canal correto e fornecer informações claras.
- Pesquisa em fontes públicas: pode ajudar a localizar comunicados e orientações oficiais. É útil para contexto, mas não verifica por si só uma alegação nem transforma uma coincidência em evidência.
- Agente automatizado com navegação: pode executar etapas repetitivas rapidamente, mas precisa de limites de acesso, supervisão e confirmação antes de realizar ações externas. Sem essas salvaguardas, a velocidade também pode multiplicar mensagens incorretas.
Na prática, recomendamos primeiro consultar a orientação oficial e, se houver informação concreta, fazer o relato diretamente pelo canal indicado pela autoridade. A pesquisa automatizada pode servir para organizar dados públicos, mas não deve ser usada para enviar alegações por conta própria. Essa recomendação é baseada nos riscos operacionais descritos no caso; não significa que todos os agentes funcionem da mesma forma ou tenham as mesmas permissões.
Como avaliar a segurança de um agente que usa a internet
Para empresas que adotam agentes, o ponto de partida é classificar as ações pelo impacto. Ler uma página pública é diferente de enviar um formulário sobre violência, cancelar um serviço ou transferir dinheiro. Quanto maior a consequência potencial, mais restrita deve ser a autonomia.
- Mapeie as ações possíveis: identifique se o agente apenas consulta páginas ou também clica, preenche campos e envia conteúdo.
- Separe leitura e execução: conceda acesso de escrita apenas quando necessário e por tempo limitado.
- Defina categorias proibidas: bloqueie testes automatizados em canais de emergência, denúncias e serviços críticos.
- Exija uma prévia: antes de qualquer envio sensível, mostre ao operador o destinatário, o texto completo e a consequência provável da ação.
- Teste falhas deliberadamente: simule páginas ambíguas, campos inesperados e instruções maliciosas para verificar se o agente interrompe o fluxo.
- Revise os registros: acompanhe ações externas, erros e recusas, com acesso controlado e políticas claras de retenção.
- Prepare a interrupção: mantenha uma forma rápida de suspender o agente e revogar suas credenciais se algo sair do esperado.
Essas práticas se relacionam ao princípio de menor privilégio, comum em segurança da informação: cada componente recebe apenas as permissões necessárias para cumprir sua função. Também se alinham à ideia de “humano no circuito”, em que uma pessoa precisa aprovar decisões de maior impacto. Nenhuma dessas medidas garante risco zero, mas reduz a chance de um erro de geração se transformar diretamente em uma ação no mundo real.
O que pode mudar nos próximos anos
À medida que agentes passam a operar navegadores, aplicativos e serviços, incidentes desse tipo tendem a estimular regras mais claras para testes e ações externas. É razoável esperar maior uso de ambientes simulados, limites de frequência, confirmação humana para tarefas sensíveis e mecanismos de auditoria. Também deve crescer a discussão sobre quem responde quando uma automação envia informação falsa: o desenvolvedor do modelo, a empresa que configurou o agente ou a organização que o colocou em operação.
Essas mudanças não devem ser confundidas com uma solução única. Um selo de segurança ou um filtro adicional não substitui testes, supervisão e resposta rápida. O aspecto decisivo será a capacidade de demonstrar o que o sistema fez, detectar desvios e interromper a atividade antes que ela produza consequências. O caso da Filadélfia é um alerta concreto sobre a distância entre “a IA consegue navegar” e “é seguro permitir que ela aja sem supervisão”.
Perguntas frequentes
A polícia da Filadélfia abriu uma investigação por causa da mensagem?
Segundo as informações divulgadas, não. A mensagem foi retida pelo filtro de spam e não avançou para uma investigação. A polícia também informou que não encontrou indícios de invasão aos sistemas do departamento.
A IA invadiu os sistemas policiais?
Não há indicação disso no relato. O agente enviou uma mensagem a um site público de recebimento de informações. A corporação declarou não ter encontrado sinais de acesso indevido à sua infraestrutura.
Por que a demora para avisar as autoridades é relevante?
Uma comunicação tardia pode dificultar a avaliação do que foi enviado, a identificação de destinatários e a adoção de medidas preventivas. Neste caso, a empresa identificou a falha em 28 de setembro e notificou a polícia em 7 de outubro, depois de o envio ter ocorrido em 18 de julho.
Agentes de IA devem ser proibidos de usar formulários públicos?
Não necessariamente. A decisão depende do propósito e do risco. Para formulários de alto impacto, como canais de denúncia, o padrão mais seguro é bloquear o envio automático ou exigir autorização humana explícita. Em testes, páginas simuladas são preferíveis a serviços reais.
Como distinguir uma denúncia verdadeira de uma mensagem inventada por IA?
Não existe um sinal visual confiável que resolva a questão. A avaliação deve considerar procedência, evidências independentes e procedimentos de triagem. Um texto bem escrito não prova que o autor presenciou o fato; da mesma forma, uma mensagem com erros não é automaticamente falsa.
E você, já testou essa funcionalidade? Conte sua experiência (ou dúvidas) nos comentários! Se este guia te ajudou, compartilhe com alguém que também precisa saber disso. E para receber nossos tutoriais e análises em primeira mão, assine a newsletter do Tech Advisor Brasil.
