A IA inventa com segurança: 5 linhas para ela dizer "não sei"

Em 2023, dois advogados de Nova York entregaram à Justiça um documento cheio de decisões judiciais que nunca existiram. Tinham pedido ao ChatGPT casos parecidos com o deles, e a IA inventou nomes, números e trechos com toda a segurança. Quando o juiz perguntou, eles insistiram que os casos eram reais. Resultado: multa de 5 mil dólares, e o caso virou o exemplo mais conhecido de que o ChatGPT inventa respostas, e de quanto isso pode custar.

Quem usa IA no trabalho já viu isso em escala menor: um dado que não existe, uma lei que ninguém achou, um autor com o livro errado. A pergunta que todo mundo faz é a mesma: por que a IA inventa, em vez de dizer que não sabe?

Fonte: caso Mata v. Avianca, Tribunal Federal de Nova York, decisão de 22/06/2023. LawNext

Ela foi treinada para chutar

Em setembro de 2025, a própria OpenAI, empresa do ChatGPT, publicou uma pesquisa sobre isso. A explicação é parecida com uma prova de múltipla escolha: quem deixa em branco tira zero com certeza; quem chuta às vezes acerta. Se a nota só conta acertos, chutar sempre compensa.

Os testes usados para avaliar as IAs funcionam assim. Por isso elas aprenderam que dar uma resposta, qualquer resposta, rende mais pontos do que admitir dúvida. A pesquisa mostra o efeito num teste de perguntas difíceis: um modelo que dizia “não sei” em metade das vezes errou 26% das respostas; outro, que quase nunca dizia “não sei”, acertou um pouco mais, mas errou 75%.

Fonte: OpenAI, “Why language models hallucinate”, 05/09/2025. openai.com

A mesma pesquisa avisa que esse erro não vai sumir totalmente: algumas perguntas simplesmente não têm resposta certa disponível. Ou seja, o problema não é você usar errado. É o jeito como a ferramenta foi ensinada. A boa notícia é que dá para mudar a regra do jogo na sua conversa.

Quando o chute é mais provável

O erro inventado não aparece em qualquer pergunta. Ele é mais comum quando você pede:

• números exatos, como porcentagens, valores e datas;
• leis, normas e decisões, com número de artigo ou de processo;
• citações e referências, como autor, livro, página ou link;
• coisas muito recentes ou muito locais, como uma regra da prefeitura da sua cidade ou um preço desta semana.

Nesses casos, a resposta parece ainda mais confiável, porque vem cheia de detalhes. É justamente aí que vale desconfiar primeiro.

Mude a regra da prova

Se a IA chuta porque ninguém a deixou responder “não sei”, a saída é dizer, no começo da conversa, que “não sei” vale ponto e que chute vale menos. Não é mágica: ela ainda pode errar. Mas cai muito o erro dito com segurança, que é o mais perigoso, porque é o que a gente não confere.

O texto de 5 linhas

Cole no começo da conversa, antes da sua pergunta:

1. “Se você não tiver certeza, diga ‘não sei’ ou ‘não tenho certeza’.”
2. “Prefiro uma resposta incompleta e honesta a uma completa e inventada.”
3. “Para cada fato, número, lei ou citação, diga de onde veio.”
4. “Separe o que é fato do que é sua opinião ou suposição.”
5. “Se faltar informação para responder bem, me faça perguntas antes.”

Como conferir o que voltou

• Tudo que muda uma decisão, você confere. Número, lei, prazo, nome, citação: procure a fonte original.
• Fonte que você não consegue abrir, não conta. Se o link não existe ou não diz aquilo, trate como inventado.
• Peça para ela revisar a própria resposta: “Releia sua resposta e aponte o que pode estar errado.” Muitas vezes ela mesma acha o problema.

Antes de responder, siga estas regras:
1. Se não tiver certeza, diga "não sei" ou "não tenho certeza".
2. Prefiro uma resposta incompleta e honesta a uma completa e inventada.
3. Para cada fato, número, lei ou citação, diga de onde veio.
4. Separe o que é fato do que é opinião ou suposição.
5. Se faltar informação, me faça perguntas antes de responder.

Minha pergunta é: ______________________________

Na prática

Na Redeste, todo número que aparece num aprendizado precisa ter fonte citada, e a IA ajuda a pesquisar, mas não decide. Este próprio artigo é um exemplo: o caso dos advogados e a pesquisa da OpenAI foram conferidos nas fontes originais antes de entrar aqui. Quando uma informação não tinha fonte que desse para abrir, ela ficou de fora.

Se você usa IA no trabalho para criar conteúdo, o aprendizado IA para quem cria conteúdo: 3 usos com método mostra como montar um fluxo em que a revisão humana sempre vem antes de publicar.

O que fazer agora

• Salve o texto anti-chute num lugar fácil de copiar e use na próxima conversa.
• Escolha uma resposta recente da IA que você usou no trabalho e confira uma informação na fonte original.
• Se a sua pergunta ainda está confusa para você mesmo, o teste das 3 frases ajuda a deixá-la clara antes de pedir.
• Quer saber em que ponto você está no uso da IA? Faça o diagnóstico grátis.