Segundo o Olhar Digital, a Suprema Corte do Novo México aplicou multa de US$ 5 mil e declarou em desacato o advogado Stephen Aarons por apresentar recurso de apelação criminal elaborado com ChatGPT sem verificação. O programa inventou depoimentos policiais e testemunhas fictícias no caso de Oscar Renee Sandoval, condenado por assassinato. Aarons disse desconhecer a capacidade da ferramenta de fabricar informações e alegou erro honesto. O caso foi encaminhado a órgão disciplinar da advocacia para investigação.
A análise abaixo é da Hédiz. Os exemplos são hipotéticos e não representam resultados do evento noticiado.
Limites reais das ferramentas de IA generativa
O episódio expõe uma vulnerabilidade frequentemente subestimada: ferramentas como ChatGPT produzem texto fluente que pode parecer factual sem sê-lo. Quando aplicadas a contextos que exigem precisão absoluta — documentos legais, relatórios técnicos, contratos ou análises financeiras —, a ausência de verificação humana transforma eficiência aparente em risco material. A confiança cega em outputs de IA pode gerar desde retrabalho até danos reputacionais e sanções.
Empresas que adotam IA para redigir propostas, relatórios ou comunicações precisam estabelecer protocolos de validação. A questão não é se a IA pode errar, mas quando e como detectar esses erros antes que alcancem clientes, parceiros ou autoridades.
Perguntas para avaliar exposição na sua operação
Sua empresa utiliza IA para produzir documentos que serão assinados ou entregues externamente? Existe fluxo de revisão humana especializada antes da publicação ou envio? Quem responde legalmente pelo conteúdo gerado: a ferramenta, o operador ou a organização? Há registros de auditoria que identifiquem quando e como a IA foi usada? Os colaboradores receberam treinamento sobre limitações e riscos de alucinações de modelos de linguagem? Contratos com fornecedores de IA esclarecem responsabilidades em caso de erro?
A ausência de respostas claras indica lacunas de governança que podem se converter em problemas concretos.
Cenário hipotético de uso inadequado
Imaginemos uma consultoria que usa IA para elaborar pareceres técnicos. Um analista alimenta o sistema com dados de projeto e recebe texto bem estruturado, citando normas e procedimentos. Sem conferir referências, o documento é entregue ao cliente. Posteriormente, descobre-se que parte das normas citadas não existe ou foi mal interpretada. O cliente executa obra baseada no parecer e enfrenta embargo. A consultoria responde por negligência, arca com indenização e perde credibilidade no mercado. O analista alegou confiar na ferramenta; a empresa não tinha política de validação.
Esse exemplo ilustra como automação sem controle multiplica consequências de falhas pontuais.
Passos para uso responsável de IA em documentos críticos
Primeiro, classifique documentos por nível de risco: internos informais, comunicações externas, contratos, relatórios regulatórios. Segundo, defina para cada categoria se IA pode auxiliar, mas nunca substituir revisão especializada. Terceiro, implemente camada de validação humana obrigatória antes de qualquer envio externo de material gerado por IA. Quarto, treine equipes para identificar sinais de alucinação: citações genéricas, dados muito precisos sem fonte, lógica circular. Quinto, mantenha registro de uso de IA em cada documento, permitindo rastreabilidade. Sexto, revise periodicamente casos de erro para ajustar protocolos.
A adoção segura de IA exige governança proporcional ao risco de cada aplicação.
Checklist de controle de qualidade para outputs de IA
- Toda afirmação factual possui fonte verificável independente da IA?
- Números, datas e nomes próprios foram conferidos em bases primárias?
- Citações de normas, leis ou jurisprudência existem nos repositórios oficiais?
- Descrições técnicas correspondem a especificações reais de produtos ou processos?
- Há coerência lógica entre diferentes seções do documento?
- Outro profissional qualificado revisou o conteúdo antes da entrega?
- O documento indica claramente quando IA foi usada, se exigido por política interna?
- Responsável final pelo conteúdo está identificado e ciente?
- Existem mecanismos de correção caso erro seja descoberto após envio?
- A organização está preparada para arcar com consequências de falhas não detectadas?
Essa lista funciona como barreira entre automação conveniente e exposição desnecessária a riscos evitáveis.
