A resposta da inteligência artificial parece certa. Mas a fonte realmente comprova o que ela diz?

Tecnologia

Uma pessoa pergunta a um assistente de inteligência artificial se tem direito a determinado serviço público. Em segundos, recebe uma resposta clara, acompanhada de um link para um documento oficial. A explicação parece confiável: a linguagem é segura e a referência existe. Mas, ao abrir o documento, descobre que a regra citada se refere a outra situação — ou a uma versão antiga da norma.

O exemplo é hipotético, mas revela uma diferença importante: uma fonte ser verdadeira não significa que ela comprove a conclusão apresentada. O problema não está apenas nas referências inventadas, frequentemente chamadas de "alucinações" da IA. Uma ferramenta também pode encontrar uma fonte real e interpretá-la de maneira inadequada, ignorar uma condição decisiva ou aplicar uma informação fora de contexto.

Imagine, por exemplo, que um sistema responda corretamente a uma pergunta sobre um prazo, mas use como justificativa uma orientação desatualizada. A conclusão pode estar certa por coincidência; a explicação, não. Se repetirmos o mesmo procedimento em outro caso, o resultado poderá ser prejudicial. Por isso, avaliar somente se a resposta final parece correta é insuficiente.

Primeiro passo: abrir a fonte. Quando a IA apresenta uma referência, não basta verificar se o site existe ou se pertence a uma instituição conhecida. É necessário localizar o trecho específico que supostamente sustenta a afirmação. A fonte realmente diz aquilo? A informação foi resumida sem alterar seu sentido? Há alguma condição que a resposta deixou de mencionar?

Segundo passo: conferir contexto e data. Uma norma pode ter sido substituída; um comunicado pode valer apenas para determinada cidade, faixa etária ou período. Também é importante distinguir uma notícia, um parecer, uma regra vigente e uma opinião. Mesmo uma página autêntica pode ser inadequada para a pergunta feita.

Terceiro passo: reconhecer os limites da ferramenta. Em questões de saúde, direitos, finanças ou serviços essenciais, uma resposta de IA deve ser tratada como apoio inicial à compreensão, não como confirmação definitiva. Quando a decisão pode produzir consequências relevantes, vale consultar o órgão responsável ou um profissional habilitado.

Esses cuidados não exigem conhecimentos avançados de programação. Em uma escola, por exemplo, estudantes podem comparar a resposta de um assistente com o documento citado e marcar três elementos: a afirmação feita, a passagem que deveria comprová-la e o contexto em que a passagem foi publicada. O exercício desenvolve uma habilidade que vai além de identificar notícias falsas: aprender a avaliar a relação entre uma alegação e sua evidência.

Organizações também precisam desse tipo de atenção. Se um sistema automatizado auxilia decisões administrativas, registrar apenas qual arquivo foi consultado não demonstra que a decisão foi bem fundamentada. É preciso tornar possível revisar a pertinência da evidência e interromper o processo quando houver incerteza relevante.

Há referências públicas úteis para orientar esse debate. O AI Risk Management Framework do NIST propõe uma abordagem de gestão de riscos para sistemas de inteligência artificial. A UNESCO, em sua Recomendação sobre a Ética da Inteligência Artificial, destaca a importância da supervisão humana, da transparência e da educação. Esses documentos não eliminam erros, mas ajudam a formular perguntas melhores sobre responsabilidade e confiabilidade.

A lição principal é simples: diante de uma resposta convincente, a pergunta mais importante nem sempre é "a IA acertou?". Muitas vezes, precisamos perguntar também: "como posso verificar se as razões apresentadas realmente sustentam essa resposta?".