Artigos, estudos e guias

Artigo de posição · ACL, 2020

Bender e Koller — forma linguística e significado

BENDER, Emily M.; KOLLER, Alexander. “Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data”. In: Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020, p. 5185–5198. DOI: 10.18653/v1/2020.acl-main.463.

Discute a distinção entre forma linguística e significado e questiona o que se pode concluir sobre compreensão a partir do desempenho de modelos de linguagem. É uma contribuição de posição acadêmica, não uma síntese consensual de todas as abordagens atuais.

Leitura indicada: leitor que deseja examinar criticamente afirmações sobre linguagem e compreensão em IA.

Consultar artigo na ACL Anthology

Artigo técnico · NeurIPS, 2020

Lewis et al. — geração aumentada por recuperação

LEWIS, Patrick et al. “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”. In: Advances in Neural Information Processing Systems, v. 33, 2020.

Apresenta uma arquitetura experimental que combina modelos de linguagem com recuperação de documentos externos. É um texto técnico de referência para compreender a origem de uma abordagem hoje chamada RAG; não demonstra que toda implementação recupere material completo, atual ou juridicamente adequado.

Leitura indicada: leitor com interesse na base técnica da recuperação documental usada para apoiar respostas.

Consultar artigo nos anais da NeurIPS

Artigo de pesquisa · TACL, 2024

Liu et al. — uso de contextos longos

LIU, Nelson F. et al. “Lost in the Middle: How Language Models Use Long Contexts”. Transactions of the Association for Computational Linguistics, v. 12, p. 157–173, 2024. DOI: 10.1162/tacl_a_00638.

Em tarefas de perguntas sobre vários documentos e recuperação de pares chave–valor, o estudo encontrou variação de desempenho conforme a posição da informação relevante no contexto. É uma evidência delimitada pelos modelos e tarefas testados; não avalia documentos jurídicos brasileiros nem permite afirmar que todos os modelos atuais apresentem a mesma dificuldade.

Consultar artigo na ACL Anthology

Artigo experimental · Findings of EMNLP, 2025

Du et al. — comprimento do contexto e desempenho

DU, Yufeng et al. “Context Length Alone Hurts LLM Performance Despite Perfect Retrieval”. In: Findings of the Association for Computational Linguistics: EMNLP 2025, p. 23281–23298. DOI: 10.18653/v1/2025.findings-emnlp.1264.

Em experimentos controlados com cinco modelos e tarefas de matemática, perguntas e respostas e geração de código, os autores separaram a localização da evidência do desempenho na tarefa. Mesmo quando os modelos conseguiam reproduzir corretamente a evidência relevante, o aumento do contexto podia reduzir o desempenho. O resultado complementa os estudos sobre a posição da informação: recuperar o trecho não demonstra que o modelo o utilizará corretamente.

Leitura indicada: leitor que trabalha com contextos extensos e quer distinguir recuperação da informação de sua aplicação na resposta.

Limite: as tarefas foram construídas a partir de benchmarks gerais e não avaliaram documentos jurídicos, fontes brasileiras ou modelos atuais em uso profissional. Os resultados se restringem às condições e aos modelos examinados.

Consultar artigo e metadados na ACL Anthology

Artigo experimental · EMNLP, 2024

Buchmann, Liu e Gurevych — respostas com evidências em documentos longos

BUCHMANN, Jan; LIU, Xiao; GUREVYCH, Iryna. “Attribute or Abstain: Large Language Models as Long Document Assistants”. In: Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 2024, p. 8113–8140. DOI: 10.18653/v1/2024.emnlp-main.463.

O estudo compara estratégias de resposta e localização de evidências em seis conjuntos de dados, com tarefas e documentos em inglês, usando cinco modelos. Não encontrou o efeito “Lost in the Middle” na recuperação de evidências, mas observou piora da qualidade das respostas quando a evidência aparecia mais tarde em alguns casos. Os resultados não avaliam documentos jurídicos brasileiros; os próprios autores apontam limites de cobertura e dificuldades para identificar evidências suficientes em respostas complexas. Citação e evidência, portanto, não garantem correção.

Consultar artigo e metadados na ACL Anthology

Artigo experimental · Findings of ACL, 2024

Dhuliawala et al. — cadeia de verificação

DHULIAWALA, Shehzaad et al. “Chain-of-Verification Reduces Hallucination in Large Language Models”. In: Findings of the Association for Computational Linguistics: ACL 2024, p. 3563–3578. DOI: 10.18653/v1/2024.findings-acl.212.

O artigo examina um procedimento em etapas: elaborar uma resposta inicial, formular perguntas de verificação, respondê-las separadamente e revisar o resultado. Os experimentos abrangem tarefas de perguntas e geração de texto, não casos jurídicos; o método não substitui a conferência das fontes nem assegura, por si só, que a resposta final esteja correta.

Consultar artigo na ACL Anthology

Artigo de conferência · ICAIL 2025 · publicação on-line em 2026

Pires, Malaquias Junior e Nogueira — avaliação de escrita jurídica

PIRES, Ramon; MALAQUIAS JUNIOR, Roseval; NOGUEIRA, Rodrigo. “Automatic Legal Writing Evaluation of LLMs”. In: Proceedings of the Twentieth International Conference on Artificial Intelligence and Law (ICAIL ’25). New York: Association for Computing Machinery, 2025, p. 420–424. DOI: 10.1145/3769126.3769227.

O registro do DOI distingue publicação impressa em 16/06/2025 e publicação on-line em 13/01/2026. Consultar os metadados do DOI no Crossref.

O artigo apresenta a versão inicial do OAB-Bench, com 105 questões de sete áreas, e relata a avaliação de quatro modelos. Em março de 2026, o repositório dos responsáveis registrou a versão 2, ampliada para 210 questões das provas 39–44; a versão inicial corresponde às provas 39–41. Os resultados do artigo dizem respeito ao conjunto e aos modelos então examinados; não descrevem a versão ampliada nem medem pesquisa de autos, atualização normativa ou desempenho profissional amplo.

Consultar a versão aberta do artigo no arXiv

Consultar o repositório oficial do OAB-Bench e a versão atual do conjunto

Artigo de pesquisa · workshop AI4Law/ICML 2026 · preprint

Lou e Shin — benchmarks jurídicos e uso por pessoas sem representação

LOU, Andrew; SHIN, David. “Legal Reasoning Is Not Lawyering: Rethinking Legal Benchmarks for Pro Se Access to Justice”. arXiv:2606.23716v1, 2026. Aceito para o workshop AI4Law no ICML 2026, conforme informação dos autores no arXiv.

Os autores distinguem o raciocínio jurídico em questões já organizadas por especialistas da capacidade de lidar com relatos menos estruturados. Para ilustrar a questão, apresentam experimento exploratório com 100 questões do benchmark LEXam, três modelos e perturbações de texto. O artigo é pertinente para compreender por que resultados em benchmarks, isoladamente, não demonstram utilidade para pessoas sem representação.

Limite: o experimento é pequeno, baseado em questões em inglês e modelos de um fornecedor; os autores o apresentam como demonstração preliminar. A discussão se volta ao contexto dos EUA e não mede a realidade brasileira nem a prática profissional assistida por advogado.

Consultar a versão e os metadados no arXiv

Artigo jurídico · Revista do TRF3, 2025

Tamer — análise da Resolução CNJ nº 615/2025

TAMER, Maurício Antonio. “Regulação da inteligência artificial no Judiciário brasileiro: análise do objeto e definições da Resolução CNJ nº 615/2025”. Revista do Tribunal Regional Federal da 3ª Região, v. 36, n. 162, jul./dez. 2025, p. 17–36. DOI: 10.65674/rev-trf3.v36i162.742.

O autor examina, sem pretensão exaustiva, o objeto, os fundamentos, os princípios e as definições da Resolução na redação original de 2025. O artigo antecede a Resolução CNJ nº 674/2026, que alterou pontualmente o art. 15; para a disciplina vigente, consulte o texto compilado da norma na ficha da Biblioteca.

Consultar artigo na Revista do TRF3

Estudo empírico · Journal of Empirical Legal Studies, 2025

Magesh et al. — confiabilidade de ferramentas de pesquisa jurídica

MAGESH, Varun et al. “Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools”. Journal of Empirical Legal Studies, v. 22, n. 2, p. 216–242, 2025. DOI: 10.1111/jels.12413.

Avaliação empírica pré-registrada de três ferramentas norte-americanas de pesquisa jurídica com recuperação de fontes, comparadas também com GPT-4, a partir de 202 consultas. O estudo distingue erro factual, fonte que não sustenta a afirmação e resposta incompleta. Os testes ocorreram em 2024, com ferramentas e questões específicas; não medem serviços atuais nem a pesquisa jurídica brasileira.

Consultar artigo de acesso aberto na Wiley

Preprint de pesquisa · arXiv, 2025

Liu et al. — extração de cláusulas em contratos

LIU, Shuang; LI, Zelong; MA, Ruoyun; ZHAO, Haiyan; DU, Mengnan. “ContractEval: Benchmarking LLMs for Clause-Level Legal Risk Identification in Commercial Contracts”. arXiv:2508.03080, 2025.

Compara 19 modelos em tarefa de identificação e extração de cláusulas, usando 4.128 pares de perguntas e contratos do conjunto CUAD, distribuídos por 41 categorias. É útil para examinar como um benchmark operacionaliza extração de cláusulas e compara modelos, inclusive quanto a respostas que deixam de indicar cláusula pertinente.

Limite: o teste é baseado em contratos em inglês do CUAD, não avalia direito brasileiro nem a qualidade de uma análise jurídica integral. O trabalho é um preprint no arXiv; os modelos foram selecionados em 2025, e os resultados não devem ser tratados como comparação atual de serviços.

Consultar o preprint na página do arXiv

Pesquisa institucional · CNJ, 2024

Uso de IA generativa no Poder Judiciário brasileiro

CONSELHO NACIONAL DE JUSTIÇA. O uso da inteligência artificial generativa no Poder Judiciário brasileiro: relatório de pesquisa. Brasília, DF: CNJ, 2024. ISBN 978-65-5972-158-0.

O relatório examina usos e percepções de magistrados e servidores a partir de questionário eletrônico de 19 questões, aplicado de 16 de maio a 15 de junho de 2024. Foram registradas respostas de 1.681 magistrados e 16.844 servidores. Como a pesquisa não empregou amostragem probabilística, os resultados descrevem os respondentes e não devem ser generalizados para todo o Judiciário nem apresentados como retrato atual. Em 24 de abril de 2026, o CNJ anunciou o lançamento de uma nova pesquisa sobre o tema. A notícia se refere ao lançamento, não à divulgação de resultados; nas páginas oficiais consultadas em 30 de outubro de 2026, não localizei o relatório da nova coleta.

Consultar relatório no repositório do CNJ

Consultar notícia do CNJ sobre o lançamento da nova pesquisa (24 abr. 2026)

Pesquisa setorial exploratória · 2026

OABs, Trybe, Jusbrasil e ITS Rio — adoção de IA no Direito

ORDEM DOS ADVOGADOS DO BRASIL, SEÇÕES DE SÃO PAULO, PARANÁ, BAHIA, GOIÁS, PERNAMBUCO E ESPÍRITO SANTO; TRYBE; JUSBRASIL; ITS RIO. Relatório sobre o Impacto da IA Generativa no Direito: panorama sobre adoção, percepções e resultados. Edição 2026.

Levantamento exploratório sobre adoção, percepções, expectativas e resultados declarados por mais de 1.800 profissionais do Direito, com dados coletados por formulário online divulgado nos canais das instituições realizadoras. Reúne recortes sobre perfis de uso, capacitação, ambiente organizacional e resultados percebidos.

Limite: a participação foi voluntária e o próprio relatório adverte para possível viés de seleção, inclusive maior interesse prévio em tecnologia. O tamanho da amostra não torna os resultados representativos por si só; os percentuais descrevem os respondentes e não devem ser generalizados para toda a advocacia ou tratados como medida independente de eficácia.

Consultar a página do relatório e acessar o documento

Ferramenta técnica governamental · MGI/SGD

Implementação de sistemas de IA com RAG

BRASIL. Ministério da Gestão e da Inovação em Serviços Públicos. Secretaria de Governo Digital. “Implementação de Sistemas de IA com RAG”. In: Guia Unificado de IA para o Setor Público: caixa de ferramentas. [s.d.].

Ferramenta de apoio técnico do Guia Unificado de IA para o Setor Público sobre o ciclo de vida de soluções RAG, arquitetura, indexação, chunking, avaliação e segurança. Foi consultada seletivamente para páginas do site sobre recuperação documental; dirige-se principalmente a equipes técnicas e agentes públicos.

Limite: orientações voltadas à administração pública não constituem, por si, regra geral para toda solução privada ou atuação jurídica.

Consultar ferramenta no portal Governo Digital

Cartilha institucional · OAB-RJ, 2026

Cartilha para o uso ético da IA na prática jurídica

ORDEM DOS ADVOGADOS DO BRASIL, SEÇÃO DO ESTADO DO RIO DE JANEIRO. Comissão de Inteligência Artificial. Cartilha para o uso ético da IA na prática jurídica. Rio de Janeiro, 2026.

Material da Comissão de Inteligência Artificial da OAB-RJ que reúne tópicos de ética, proteção de dados, verificação e prática profissional. A leitura local desta curadoria abrangeu capa, expediente, sumário, apresentação e introdução, não a íntegra.

Limite: a natureza institucional da cartilha não substitui a conferência de cada norma, precedente ou exemplo referido no documento.

Consultar cartilha na página da OAB-RJ