Verificação de respostas de IA
Como conferir a existência, o conteúdo e a pertinência das fontes
Um texto bem estruturado pode transmitir segurança sem que suas informações a mereçam. A qualidade da linguagem e a confiabilidade do conteúdo precisam ser avaliadas separadamente.
Sistemas generativos podem inventar fatos, fontes, citações, datas, nomes e explicações. Também podem errar de modos menos evidentes: usar informação verdadeira, porém desatualizada; omitir uma condição decisiva; confundir arquivos; resumir corretamente a maior parte de uma decisão e perder a ressalva central; ou apresentar inferência como se fosse conclusão da fonte.
Separar esses erros orienta a correção. Uma referência inventada exige confirmação de existência. Um dado antigo pede fonte atual. Uma omissão requer comparação com o original. Um cálculo demanda verificação independente. Uma inferência deve aparecer como análise, não como transcrição ou fato.
Três perguntas que precisam de respostas próprias
Confirmar a existência de um julgado não confirma a leitura feita dele. Reproduzir corretamente seu conteúdo também não demonstra que ele resolva outro caso. São conferências relacionadas, mas com objetos distintos.
O percurso de verificação
- Identifique o que é verificável. Nomes, números, datas, regras, citações, funcionalidades e afirmações sobre processos pedem confirmação.
- Identifique a fonte. Obtenha o documento ou endereço de referência e confirme sua existência por acesso direto. A indicação da ferramenta não demonstra, por si só, que ela consultou esse conteúdo.
- Abra a fonte. Título, ementa, nome do arquivo ou trecho exibido são pistas; não substituem a leitura do conteúdo relevante.
- Compare afirmação e suporte. Verifique se a fonte realmente sustenta o que foi escrito.
- Observe data e contexto. Órgão, classe processual, fase, versão, país e situação podem alterar o alcance da informação.
- Separe fato, transcrição e análise. A conclusão do autor pode decorrer da fonte sem estar literalmente contida nela.
- Registre a incerteza. Se a confirmação for insuficiente, o texto deve dizê-lo.
Exemplo: o documento confirma o que a síntese afirma?
Considere um exercício fictício: o único material disponível é uma comunicação que registra que a parte declarou ter enviado determinados comprovantes. O trecho não contém os comprovantes, não confirma seu recebimento e não informa decisão sobre a controvérsia.
| Afirmação da síntese | Resultado da conferência | Providência |
|---|---|---|
| A comunicação registra que a parte declarou ter enviado os comprovantes. | Há apoio no material para essa atribuição. | Preservar a indicação de que se trata da declaração da parte. |
| A comunicação registra que a parte declarou não ter enviado os comprovantes. | A afirmação contradiz o registro descrito. | Corrigir a negativa e conferir se o erro afetou outras passagens. |
| Os comprovantes foram recebidos e demonstram a quitação integral. | O material é insuficiente para estabelecer essa conclusão. | Obter e examinar os documentos pertinentes antes de concluir. |
A falta de suporte para a terceira afirmação não demonstra que ela seja falsa; demonstra que não pode ser confirmada com esse material. Solicitar à mesma ferramenta que repita a avaliação não acrescenta, por si só, a documentação ausente.
Quando uma frase reunir várias afirmações, confira-as separadamente. No último exemplo, recebimento dos documentos e quitação integral são conclusões distintas: confirmar uma delas não confirmaria automaticamente a outra.
A distinção entre suporte, contradição e indeterminação orienta esse cotejo. Essa classificação ajuda a examinar a fidelidade de uma afirmação ao material disponível; não substitui a valoração jurídica das provas.
No uso jurídico
A fonte principal controla o fato que dela se extrai. Em uma peça, os autos controlam os fatos do caso; a transcrição deve ser conferida no texto da fonte indicada; a decisão integral permite distinguir tese, fundamento determinante, observação acessória e alcance. Uma síntese gerada não substitui nenhum desses materiais.
Ao conferir um precedente
- confirme que o processo e a decisão existem;
- abra o inteiro teor ou a fonte oficial disponível;
- identifique a questão decidida, o contexto processual e o fundamento determinante;
- preserve literalmente qualquer trecho apresentado entre aspas;
- não transforme fundamento, voto isolado ou observação em tese vinculante;
- confira alterações normativas e a situação do entendimento na fonte competente; uma referência correta pode estar superada;
- explique a relação entre o precedente e o caso examinado.
Uma revisão de linguagem também precisa preservar o conteúdo
Ao pedir clareza, concisão ou maior formalidade, compare a versão revista com o texto de origem. Observe se foram alterados o sujeito da afirmação, a negativa, a condição, o grau de certeza ou o responsável por determinada posição. Uma frase mais elegante pode ter passado a afirmar algo que o original não dizia.
Em um exemplo fictício, o texto-base informa que a parte alega ter efetuado o pagamento, cuja comprovação ainda será examinada. Se a revisão passar a afirmar que a parte efetuou o pagamento, ela terá eliminado tanto a atribuição da alegação quanto a pendência documental. A correção exige restabelecer esses limites, mesmo que a nova frase pareça mais direta.
A comparação assistida pode indicar diferenças; a aceitação do texto depende do confronto com o original.
Dois objetos, duas conferências
Quando a resposta foi construída a partir de arquivos, há duas perguntas que não se substituem. A primeira é documental: o arquivo recebido era a versão correta, quais partes foram lidas e o original permaneceu íntegro? A segunda é argumentativa: a afirmação feita pela ferramenta corresponde ao teor, ao contexto e ao alcance da fonte?
Um arquivo correto pode sustentar uma síntese inadequada; uma citação aparentemente exata pode ter vindo de documento incompleto ou de versão superada. O método exige que as duas verificações fiquem visíveis.
Capacidade declarada e capacidade demonstrada
Os assistentes também podem descrever incorretamente suas próprias capacidades. Em vez de perguntar apenas “você consegue?”, procure evidência operacional: o arquivo aparece como anexado? A página foi aberta? A fonte está identificada? O resultado intermediário é visível? A ação ainda depende de aprovação? O arquivo criado pode ser baixado e aberto?
Esses sinais confirmam aspectos da operação, com alcance limitado. Um arquivo anexado pode estar disponível sem ter sido lido por inteiro; uma página aberta pode não conter a passagem necessária. A cobertura da leitura e o apoio à afirmação precisam ser conferidos separadamente.
O rigor deve ser proporcional à consequência. Nem toda tarefa exige investigação extensa. Mas a verificação precisa aumentar quando a resposta orienta direitos, prazos, estratégia processual, gasto relevante, envio de informações, tratamento de dados sigilosos ou alteração de arquivos.
Ajuste a conferência à consequência do erro
A mesma intensidade de conferência não serve para tudo. O critério útil não é apenas a sofisticação da tarefa, mas o custo de um erro que pareça correto e atravesse a revisão. Sugerir títulos, reorganizar um parágrafo ou listar perguntas para uma reunião costuma ter erro visível e reversível. Afirmar o teor de uma norma, indicar prazo, resumir documento para quem não o lerá ou sustentar uma tese em juízo exige outra disciplina.
Essa classificação não proíbe a ferramenta nas tarefas sensíveis. Ela impede que a fluência reduza o nível de atenção justamente quando a falha teria consequência mais grave.
Quando não usar
A melhor decisão pode ser não inserir a IA no processo: quando o ganho é pequeno e a exposição de dados é alta; quando não há forma razoável de conferir a resposta; quando a tarefa depende de sigilo, relação humana ou julgamento profissional que não pode ser delegado; ou quando a ferramenta não tem acesso ao material que deveria controlar o resultado.
O uso consciente depende de uma disciplina simples: compreender a finalidade, saber o que foi realmente acessado, conferir o que pode ser verificado e manter sob controle as decisões que produzem consequências.
Registre o resultado da conferência
Para as afirmações relevantes, conserve um registro breve com quatro elementos: o que foi afirmado; a fonte e a passagem examinadas; o resultado da comparação; e a providência adotada. Diferencie confirmação, correção e pendência. A expressão “revisado” não informa, sozinha, o que foi efetivamente conferido.
Se uma informação continuar sem suporte suficiente, obtenha o material necessário, limite a conclusão ao que foi confirmado ou retire a afirmação da versão destinada ao uso. Uma ressalva genérica ao final do texto não corrige um dado específico apresentado como certo.
Referências bibliográficas
O guia do National Center for State Courts é norte-americano e aparece aqui apenas como leitura comparativa sobre conferência de respostas. Não descreve regras nem prática judiciária brasileiras.
HUYEN, Chip. AI Engineering: building applications with foundation models. 1. ed. Sebastopol, CA: O’Reilly Media, 2024. Cap. 4, p. 167–168.
HOLANDA, Irving William Chaves. Manual da inteligência artificial generativa (IA-GEN) nos tribunais. Palmas: Esmat, 2025. p. 84–85, 97–98. Acessar a obra no portal externo do TJPE.
COMPANHIA NACIONAL DE ABASTECIMENTO. Guia do uso responsável de inteligência artificial. Brasília, DF: Conab, 2026. p. 11, 14. Acessar o guia no site externo da Conab.
FRANCIS, Mark H.; JARRAL, Ashwini. A legal practitioner’s guide to AI and hallucinations. [S. l.]: National Center for State Courts, 2026. p. 6–8. Consultar o guia no site externo do NCSC.
Para verificar quais partes de um arquivo foram efetivamente examinadas, consulte O que a ferramenta leu. Para formular e corrigir uma tarefa, veja Prompts jurídicos: formulação e refinamento.
APOIA/TRF2. Pontos de atenção da IA. In: Manual da Apoia. [S. d.]. Consultar a documentação em site externo.