A avaliação de segurança de um modelo de inteligência artificial pode revelar tanto riscos importantes quanto informações que uma empresa considera confidenciais. É nesse limite delicado que se concentra a disputa entre OpenAI, Anthropic e avaliadores independentes: quem decide o que pode ser publicado depois que especialistas testam um sistema de IA avançado?

Segundo o portal Olhardigital.com.br, que repercutiu informações da Reuters, as empresas negociam com equipes externas os termos de acesso aos modelos e a divulgação dos resultados. O debate envolve segredos comerciais, mas também a independência dos especialistas e a capacidade do público de entender riscos que podem afetar usuários, empresas e governos.

Não se trata apenas de uma discussão sobre a redação de relatórios. As regras de divulgação ajudam a definir quem pode verificar as alegações de segurança de um laboratório, quais falhas chegam ao conhecimento público e se uma avaliação externa é realmente independente. Este guia explica como esses testes funcionam, por que a publicação dos resultados é complicada e quais critérios podem tornar o processo mais confiável.

O que está em discussão nos testes de segurança de IA

Empresas de IA podem contratar avaliadores externos para investigar como seus modelos se comportam em situações específicas. Esses especialistas podem testar, por exemplo, se um sistema facilita atividades perigosas, divulga dados confidenciais, produz respostas discriminatórias ou deixa de respeitar limites definidos pela empresa.

Para fazer uma avaliação relevante, a equipe pode precisar de acesso direto a versões do modelo, ferramentas de teste, documentação técnica e, em alguns casos, informações internas. Isso torna possível examinar comportamentos que não aparecem em demonstrações públicas. Ao mesmo tempo, esse acesso pode expor segredos comerciais, dados pessoais ou detalhes que, se divulgados sem cuidado, ajudariam alguém a explorar uma vulnerabilidade.

Segundo o relato do Olhardigital.com.br sobre a apuração da Reuters, as conversas incluem questões como a presença de funcionários dos laboratórios durante o trabalho dos avaliadores e a possibilidade de restringir a atuação simultânea de uma mesma equipe em empresas concorrentes. Também há divergências sobre o controle dos relatórios finais e sobre como informar ao público quando partes relevantes forem ocultadas.

Por que a publicação importa

Um teste que ocorre em sigilo pode ajudar uma empresa a corrigir problemas, mas oferece pouca evidência pública de que os riscos foram examinados com rigor. Já um relatório aberto pode permitir que pesquisadores, clientes e autoridades avaliem os métodos e as conclusões. A abertura, porém, não significa divulgar indiscriminadamente instruções de exploração, dados sensíveis ou detalhes que facilitem o uso malicioso do sistema.

O desafio, portanto, é equilibrar três objetivos legítimos: preservar informações confidenciais, proteger a segurança pública e permitir que terceiros verifiquem as conclusões. A dificuldade está em definir quem arbitra esse equilíbrio — especialmente quando a empresa avaliada pode ter interesses comerciais ligados ao resultado.

Como uma avaliação independente de IA funciona

Uma avaliação séria começa antes de alguém enviar perguntas ao modelo. Os avaliadores precisam definir o que estão tentando descobrir, quais capacidades serão examinadas, em que condições os testes serão feitos e quais resultados seriam considerados preocupantes.

  1. Definição do escopo: a equipe especifica o modelo, a versão, as ferramentas disponíveis e os riscos que serão investigados. Um modelo usado apenas para gerar texto, por exemplo, pode exigir testes diferentes de um sistema conectado a navegadores, bancos de dados ou ferramentas de execução de código.
  2. Escolha dos métodos: os especialistas elaboram testes, selecionam conjuntos de avaliação e registram as limitações conhecidas. Os métodos podem incluir testes automatizados, análise humana, simulações de uso indevido e revisão de documentação.
  3. Execução dos testes: a equipe observa respostas e comportamentos sob condições controladas. Quando necessário, repete os testes para verificar se um resultado foi consistente ou apenas um caso isolado.
  4. Análise e validação: os resultados são interpretados à luz do escopo. Uma resposta inadequada não prova, por si só, que o sistema sempre falhará daquela maneira; da mesma forma, não encontrar uma falha não demonstra que ela não existe.
  5. Relatório e divulgação: os avaliadores descrevem métodos, achados, limitações e recomendações. Informações que possam causar dano podem ser resumidas ou protegidas, desde que a restrição não apague justamente o que permitiria avaliar a gravidade do resultado.

Na prática, um relatório útil costuma deixar claro qual versão foi testada, quando a avaliação ocorreu, quais ferramentas estavam habilitadas e quais perguntas ficaram sem resposta. Sem esses detalhes, uma conclusão aparentemente forte pode ser difícil de interpretar ou repetir.

O que significa independência

Independência não quer dizer necessariamente ausência de contrato ou de pagamento. Avaliadores externos podem ser remunerados pela empresa examinada e ainda assim trabalhar com autonomia técnica, desde que tenham liberdade para escolher métodos, registrar conclusões e publicar resultados conforme regras previamente estabelecidas.

O problema aparece quando a organização avaliada consegue alterar o escopo depois de conhecer os resultados, impedir a publicação de achados desfavoráveis ou exigir aprovação editorial sem critérios objetivos. Mesmo sem interferência explícita, a dependência financeira, o acesso privilegiado ou a presença constante de funcionários podem criar pressão real ou percebida sobre os especialistas.

Segredos comerciais e transparência: o conflito central

Nem toda informação técnica deve ser publicada sem filtro. Um relatório pode conter dados pessoais, detalhes de arquitetura, código proprietário ou procedimentos que tornem mais fácil reproduzir um ataque. A divulgação desses elementos pode prejudicar a empresa ou criar riscos para usuários e para terceiros.

Por outro lado, “segredo comercial” não deve funcionar como uma justificativa genérica para esconder qualquer resultado inconveniente. Se os trechos removidos eliminam a descrição do problema, a frequência observada ou a gravidade potencial, leitores externos podem não ter elementos suficientes para entender o que foi descoberto.

Uma prática mais robusta é distinguir entre revisão por segurança e aprovação editorial. Na revisão por segurança, a empresa aponta informações específicas que poderiam expor dados ou facilitar abuso; os avaliadores analisam a justificativa e decidem como tratá-las. Na aprovação editorial, a organização pode tentar controlar a forma final do texto ou bloquear conclusões. Essa diferença é fundamental para preservar a credibilidade.

O que as empresas disseram, segundo a notícia

De acordo com o material publicado pelo Olhardigital.com.br, a Anthropic afirmou que, nas conversas com avaliadores com quem já trabalhou, os especialistas controlam os métodos, os critérios, as conclusões e o conteúdo publicado. Para novas equipes, a empresa reserva a possibilidade de comentar e aprovar relatórios enquanto a relação profissional é estabelecida.

A OpenAI, por sua vez, negou buscar aprovação do texto integral dos relatórios. A empresa disse que informações confidenciais podem ser ocultadas e que os avaliadores podem informar se houve cortes significativos. Essas posições são relevantes, mas não encerram a discussão: o grau de independência depende dos contratos, dos procedimentos adotados e do que efetivamente acontece quando os resultados são desfavoráveis.

Três formas de avaliar a segurança — e suas limitações

A auditoria externa é uma peça importante, mas não é o único método disponível. Cada abordagem responde a perguntas diferentes e tem pontos cegos próprios.

1. Avaliação por especialistas externos

  • Vantagem: pode trazer conhecimentos especializados e uma perspectiva menos ligada às decisões internas do laboratório.
  • Limitação: o acesso, o escopo e a divulgação podem depender de contratos negociados com a empresa avaliada.
  • Mais útil quando: há autonomia para escolher métodos e relatar limitações, além de regras transparentes para proteger informações sensíveis.

2. Red teaming interno

Em um exercício de red team, profissionais tentam encontrar formas de provocar falhas ou contornar proteções. Quando conduzido dentro da própria empresa, o trabalho pode ser rápido e ter acesso amplo ao sistema.

  • Vantagem: facilita a integração entre quem encontra um problema e as equipes responsáveis por corrigi-lo.
  • Limitação: os profissionais pertencem à organização que também tem metas de lançamento, reputação e receita; isso pode influenciar prioridades e comunicação.
  • Mais útil quando: complementa avaliações independentes, em vez de ser apresentado como substituto delas.

3. Benchmarks e testes padronizados

Benchmarks são conjuntos de tarefas ou perguntas usados para comparar modelos segundo critérios definidos. Eles ajudam a acompanhar tendências e repetir medições, mas uma boa pontuação não equivale a uma auditoria completa.

  • Vantagem: facilita comparações e pode ser aplicado em escala.
  • Limitação: modelos podem se sair bem em um conjunto conhecido sem representar o mesmo desempenho em situações reais. O teste também pode não cobrir riscos emergentes ou usos com ferramentas externas.
  • Mais útil quando: os resultados são combinados com testes qualitativos, análise de cenários e divulgação das limitações do benchmark.

Esses métodos são complementares. Uma equipe interna pode identificar e corrigir problemas rapidamente; benchmarks podem acompanhar mudanças; avaliadores externos podem questionar premissas e verificar aspectos que a organização não priorizou. Nenhum método, isoladamente, garante que um sistema seja seguro em todas as situações.

Como seria um processo de divulgação mais confiável

Uma estrutura clara pode reduzir disputas depois que os resultados já são conhecidos. O ideal é combinar regras contratuais, proteção de dados e autonomia dos avaliadores antes do início dos testes.

  1. Definir o escopo antes da avaliação: registrar o modelo e a versão, os riscos examinados, as ferramentas disponíveis e os limites do acesso.
  2. Separar comentários técnicos de poder de veto: a empresa pode apontar erros factuais ou riscos de segurança, mas não deveria ter controle irrestrito sobre conclusões ou recomendações.
  3. Estabelecer prazos de revisão: uma janela limitada permite verificar dados confidenciais sem criar uma forma indefinida de adiar a publicação.
  4. Documentar cada corte: o relatório deve indicar que houve remoções relevantes e, quando possível, explicar a categoria do material omitido sem expor o conteúdo protegido.
  5. Preservar os achados negativos: resultados desfavoráveis não devem ser apagados por não corresponderem às expectativas da empresa.
  6. Permitir uma versão pública e outra restrita: um relatório completo pode ser compartilhado com autoridades ou entidades autorizadas, enquanto uma versão pública resume detalhes que poderiam viabilizar abuso.
  7. Declarar conflitos e limitações: leitores precisam saber quem financiou o trabalho, qual foi o nível de acesso e quais perguntas ficaram fora da avaliação.

Esse modelo não elimina todas as tensões. Uma descrição excessivamente vaga pode tornar o relatório inútil; uma descrição técnica demais pode facilitar danos. O objetivo é tornar as decisões de ocultação justificáveis e verificáveis, não fingir que existe uma solução sem custos.

O que usuários, empresas e autoridades devem observar

O leitor não precisa dominar segurança de IA para avaliar se um relatório oferece informação útil. Alguns sinais ajudam a distinguir uma descrição verificável de uma afirmação promocional:

  • O documento identifica a versão do sistema e a data dos testes?
  • Explica quem conduziu a avaliação e quem a financiou?
  • Descreve métodos e critérios, ou apenas afirma que o modelo foi “testado”?
  • Apresenta resultados negativos e limitações, além de pontos positivos?
  • Informa se houve cortes e quais tipos de informação foram protegidos?
  • Esclarece se os avaliadores puderam publicar suas próprias conclusões?

Para uma empresa que escolhe uma ferramenta de IA, um relatório independente pode ajudar na análise de fornecedores, mas não substitui testes no próprio ambiente. A configuração, os dados conectados e as permissões concedidas podem mudar o perfil de risco. Um modelo avaliado em condições controladas pode se comportar de outra forma quando integrado a sistemas internos.

O que pode mudar nos próximos anos

A tendência provável é que avaliações de segurança deixem de ser tratadas apenas como documentos pontuais e passem a fazer parte do ciclo de desenvolvimento dos modelos. Sistemas mudam com atualizações, novas ferramentas e alterações de configuração; por isso, uma avaliação antiga não necessariamente descreve a versão que está sendo usada hoje.

Também é razoável esperar maior pressão por padrões comuns de documentação: identificação de versões, descrição de métodos, registro de limitações e explicação de cortes. Isso facilitaria comparações entre empresas sem exigir que todos os detalhes técnicos fossem públicos.

Outra possibilidade é a adoção de diferentes níveis de acesso aos resultados. O público poderia receber um resumo com métodos e conclusões principais; pesquisadores habilitados poderiam consultar material adicional sob condições controladas; e órgãos responsáveis poderiam receber informações completas quando necessário. Esse arranjo pode conciliar transparência e proteção, mas depende de critérios claros para decidir quem acessa cada nível e como se evita que a confidencialidade esconda falhas relevantes.

O ponto essencial é que segurança não se comprova apenas por declarações das empresas nem por um relatório isolado. Ela depende de avaliações repetidas, métodos compreensíveis e mecanismos para que resultados relevantes não sejam silenciados. Quanto mais poderosos e integrados forem os sistemas, mais importante será saber não só se foram testados, mas quem definiu o teste, quem viu os resultados e quem teve a palavra final sobre o que o público pode conhecer.

Perguntas frequentes sobre relatórios de segurança de IA

Uma avaliação independente garante que o modelo é seguro?

Não. Uma avaliação examina riscos específicos, em uma versão e em condições determinadas. Ela pode encontrar problemas importantes, mas não prova que todos os usos futuros serão seguros nem que riscos não testados estejam ausentes. O relatório deve ser entendido como evidência delimitada, não como certificado absoluto.

Por que uma empresa pode pedir que partes de um relatório sejam ocultadas?

Um corte pode proteger dados pessoais, código proprietário ou detalhes que facilitem a exploração de uma vulnerabilidade. A restrição é mais confiável quando tem justificativa específica, é examinada pelos avaliadores e não remove informações essenciais sobre a existência e a gravidade do achado.

Se a empresa paga os avaliadores, eles ainda podem ser independentes?

Sim, mas o pagamento cria um potencial conflito que precisa ser administrado. Importam a autonomia para definir métodos e conclusões, as regras de publicação, a divulgação do financiamento e a ausência de um veto irrestrito da empresa avaliada. A independência deve ser demonstrada por procedimentos, não apenas declarada.

Um benchmark público é suficiente para comparar a segurança de modelos?

Não. Benchmarks ajudam a comparar desempenho em tarefas definidas, mas podem não representar situações reais, riscos raros ou sistemas conectados a ferramentas e dados externos. Eles são mais informativos quando combinados com auditorias, testes de uso indevido e documentação transparente sobre suas limitações.

O que devo procurar em um relatório antes de confiar nele?

Verifique a versão testada, a data, o escopo, os métodos, os responsáveis pela avaliação, o financiamento e as limitações. Procure também saber se houve cortes e se os avaliadores controlaram as conclusões. Se o documento só apresenta garantias amplas sem explicar como foram obtidas, ele oferece pouca base para uma avaliação independente.

E você, já testou essa funcionalidade? Conte sua experiência (ou dúvidas) nos comentários! Se este guia te ajudou, compartilhe com alguém que também precisa saber disso. E para receber nossos tutoriais e análises em primeira mão, assine a newsletter do Tech Advisor Brasil.