A OpenAI expôs porque é que as "firewalls de IA" falham contra prompt injection — os ataques agora parecem engenharia social

title: "A OpenAI expôs porque é que as \"firewalls de IA\" falham contra prompt injection — os ataques agora parecem engenharia social" description: "A OpenAI diz que os ataques de prompt injection que funcionam hoje parecem engenharia social, e que filtrar a entrada não chega. Veja o que o ChatGPT faz em vez disso — e o que copiar se constrói agentes de IA." date: 2026-10-15 lang: pt slug: openai-prompt-injection-defense tags: [ai-tools, openai, security, prompt-injection, ai-agents]

Em março de 2026, a OpenAI publicou no seu blog de segurança um texto chamado "Designing AI agents to resist prompt injection". É curto, e defende uma ideia que vai contra muito do que hoje se vende como "segurança de IA":

"Defending against [prompt injection] cannot rely only on filtering inputs. It also requires designing the system so that the impact of manipulation is constrained, even if some attacks succeed."

Em português: a defesa contra prompt injection não pode depender só de filtrar o que entra. É preciso desenhar o sistema para que o estrago de uma manipulação fique limitado, mesmo quando um ataque passa.

Ou seja: não vai apanhar todos os ataques à porta. Construa a casa de forma a que quem entra não consiga fazer muito.

Como é um ataque de prompt injection hoje

Na definição da OpenAI, prompt injection são "instruções colocadas em conteúdo externo para tentar levar o modelo a fazer algo que o utilizador não pediu". Uma página web, um email, um documento que o agente lê por si.

As primeiras versões eram toscas. O exemplo da própria OpenAI: editar um artigo da Wikipedia para incluir instruções diretas a qualquer agente de IA que o visitasse. Modelos sem treino para esse tipo de ambiente hostil seguiam-nas muitas vezes sem questionar.

Isso deixou de funcionar à medida que os modelos ficaram mais inteligentes. O que a OpenAI diz ver agora é outra coisa: os ataques que resultam "parecem cada vez mais engenharia social do que simples substituição de instruções". Não dizem "ignora as tuas instruções". Constroem uma história plausível — como um email de phishing faz a uma pessoa.

O texto cita um ataque de 2025 ao ChatGPT reportado por investigadores de segurança externos: um email preparado para que, quando o utilizador pedia ao deep research para analisar a caixa de entrada, o agente fosse levado a divulgar informação. Nos testes, funcionou 50% das vezes.

Porque é que a "firewall de IA" não o salva

Uma recomendação comum no mercado de segurança de IA é aquilo a que a OpenAI chama "AI firewalling": uma camada entre o agente e o mundo exterior que classifica cada entrada como maliciosa ou normal.

O veredicto da OpenAI é seco: os ataques bem construídos "normalmente não são apanhados por esses sistemas". E a razão é o mais importante:

"Detecting a malicious input becomes the same very difficult problem as detecting a lie or misinformation, and often without necessary context."

Se o ataque é uma história convincente, o filtro tem de saber que a história é falsa. Isso não é um problema de reconhecer padrões. É detetar uma mentira — e muitas vezes sem o contexto necessário.

O que o ChatGPT faz em vez disso

A resposta da OpenAI é tratar o agente de IA como um agente humano de apoio ao cliente: alguém que age pela empresa, fala com desconhecidos o dia todo e às vezes vai ser enganado. Ninguém resolve isso esperando que o agente nunca seja enganado. Põem-se limites ao que um agente enganado consegue fazer — tetos de reembolso, emails sinalizados, aprovações.

Aplicado ao ChatGPT, a OpenAI descreve três coisas:

1. Primeiro, o treino. A maioria dos ataques que a OpenAI vê tenta levar o assistente a tirar informação secreta de uma conversa e enviá-la a terceiros. "Na maioria dos casos que conhecemos, estes ataques falham porque o nosso treino de segurança leva o agente a recusar."

2. Nada sai em silêncio. Para os casos em que o agente é convencido, um mecanismo chamado Safe Url deteta quando informação da conversa seria enviada a terceiros. Aí o ChatGPT ou mostra ao utilizador o que seria enviado e pede confirmação, ou bloqueia e diz ao agente para encontrar outro caminho. O mesmo mecanismo cobre a navegação no Atlas e as pesquisas no Deep Research.

3. Sandboxes. As Apps e o Canvas correm numa sandbox que deteta comunicações inesperadas e pede consentimento ao utilizador.

O princípio por trás das três, nas palavras da OpenAI: ações potencialmente perigosas, ou envios de informação potencialmente sensível, "não devem acontecer em silêncio nem sem as salvaguardas adequadas".

O que copiar se constrói agentes de IA

A recomendação final da OpenAI é a linha mais útil do texto:

"When integrating an AI model with an application system, we recommend asking what controls a human agent should have in a similar situation and implementing those."

Ou seja: pergunte que controlos teria um humano na mesma função — e aplique-os ao agente. Na prática:

Liste as saídas. Tudo o que o agente pode fazer que sai do sistema — enviar um email, chamar uma API, abrir um link, escrever num ficheiro partilhado. É aí que uma injeção faz estrago.
Ponha um humano nas perigosas. Enviar dados para fora, gastar dinheiro, apagar coisas: mostrar o que vai acontecer e perguntar primeiro.
Limite quanto custa um erro. Tetos de valores, destinatários e frequência, impostos por código simples que o modelo não consegue convencer.
Não compre um filtro como resposta completa. Um classificador de entradas ajuda com ataques toscos. Não é a defesa contra os que funcionam.

O senão

A OpenAI está a descrever as suas próprias defesas no seu próprio blog. Não as testámos e não conseguimos verificar com que frequência funcionam. O texto também não diz que o problema está resolvido — diz que a OpenAI continua a trabalhar nele, tanto na arquitetura de segurança como no treino dos modelos.

E este texto é de março de 2026, não desta semana. O que merece a sua atenção não é a data. É a mudança de pensamento: se os ataques que funcionam são engenharia social, a pergunta para quem põe um agente a funcionar já não é "consigo bloquear todas as entradas más?". É "qual é o pior que este agente pode fazer quando for enganado?"

Fonte: OpenAI, "Designing AI agents to resist prompt injection", 11 de março de 2026.

Queres a versão calma de notícias de IA como esta, uma vez por semana? Subscreve a newsletter do Sharp AI Hub →