Towards Trustworthy and Explainable Automated Fact-Checking: from Multimodal Classification to Knowledge-Grounded Reasoning

Será defendida no dia 9 de julho de 2026, às 9:00 horas, por videoconferência, a Tese de Doutorado intitulada “Towards Trustworthy and Explainable Automated Fact-Checking: from Multimodal Classification to Knowledge-Grounded Reasoning”, do candidato ao título de Doutor em Computação – Vítor Nascimento Lourenço.

Link para defesa: https://meet.google.com/yxi-dqjd-yvu   

Towards Trustworthy and Explainable Automated Fact-Checking: from Multimodal Classification to Knowledge-Grounded Reasoning   

Resumo:

A disseminação de desinformação nas redes sociais tem superado a capacidade de checagem de fatos conduzida manualmente por humanos, motivando o desenvolvimento de sistemas de verificação automatizada de fatos (AFC, do inglês Automated Fact-Checking) capazes de escalar com o volume e a velocidade do conteúdo online. No entanto, apesar dos avanços recentes em processamento de linguagem natural e Modelos de Linguagem de Larga Escala (LLMs, do inglês Large Language Models), a integração de fontes heterogêneas de informação (e.g., conteúdo textual, contexto social) e de conhecimento estruturado em um arcabouço unificado de verificação ainda permanece desafiadora. Ao mesmo tempo, sistemas de AFC continuam a ser avaliados e construídos em torno de rótulos de veracidade, em vez de explicações interpretáveis, robustas e fundamentadas em evidências, necessárias para apoiar checadores de fatos e usuários finais. Esta tese investiga o avanço conjunto da detecção e verificação de desinformação e da explicabilidade ao longo do pipeline de AFC, organizando suas contribuições em detecção de desinformação baseada em classificação por meio de aprendizado de texto e grafos, e em verificação baseada em LLMs fundamentada em conhecimento estruturado e raciocínio. Primeiramente, propomos mu2, um arcabouço multimodal e multilíngue que combina atributos textuais, de metadados e relacionais codificados a partir de nós de postagens em redes sociais para a detecção de desinformação em inglês, espanhol e português, demonstrando como atributos sociais e textuais heterogêneos contribuem para o desempenho da detecção. Em seguida, estendemos mu2 para mu2X, incorporando um Módulo de Explicabilidade da Classificação que produz atribuições post-hoc em nível de atributo, avaliado sob protocolos inéditos de confiabilidade e robustez de explicações multimodais. Construindo sobre essa base baseada em classificação, deslocamo-nos então para a verificação fundamentada em evidências com KG-CRAFT, um arcabouço que ancora modelos de linguagem pré-treinados em raciocínio contrastivo baseado em grafos de conhecimento, gerando perguntas contrastivas estruturadas para avaliar a veracidade de alegações e quantificando o ganho atribuível a tal ancoragem em relação a LLMs sem ancoragem. Por fim, estendemos KG-CRAFT da explicação post-hoc em nível de atributo para a interpretabilidade do próprio processo de raciocínio do LLM, avaliando o alinhamento factual e a qualidade das justificativas em linguagem natural por ele produzidas para seus veredictos. Estas contribuições avançam os dois desafios que motivam esta tese. mu2 e mu2X progridem a integração de fontes heterogêneas de informação em um arcabouço unificado de detecção em múltiplos idiomas, e KG-CRAFT traz o conhecimento estruturado para o raciocínio baseado em LLMs com o objetivo de verificar alegações sob uma perspectiva fundamentada em evidências. No eixo da explicabilidade, mu2X leva os sistemas de AFC para além dos rótulos de veracidade por meio de atribuições em nível de atributo, e KG-CRAFT avança ainda mais ao ancorar a interpretação no próprio raciocínio que produz o veredicto do LLM. Em conjunto, elas levam a área em direção ao objetivo de longo prazo de sistemas de checagem de fatos que sejam, por concepção, precisos, transparentes e confiáveis.

Abstract:

Social media misinformation spreading has outpaced the capacity of manual human-driven fact-checking, motivating the development of automated fact-checking (AFC) systems that can scale with the volume and velocity of online content. However, despite recent advances in natural language processing and Large Language Models (LLMs), the integration of heterogeneous information sources (e.g., textual content, social context) and structured knowledge within a unified verification framework still remains challenging. At the same time, AFC systems continue to be evaluated and built around veracity labels, rather than the interpretable, robust, and evidence-grounded explanations needed to support fact-checkers and end users. This thesis investigates the joint advancement of misinformation detection and verification and explainability across the AFC pipeline, organising its contributions in classification-based misinformation detection based on text and graph learning, and LLM-based verification grounded in structured knowledge and reasoning. First, we propose mu2, a multimodal and multilingual framework that combines textual, metadata, and relational features encoded from social-media post nodes for misinformation detection across English, Spanish, and Portuguese, demonstrating how heterogeneous social and textual features contribute to detection performance. We then extend mu2 into mu2X, augmenting it with a Classification Explainability Module that produces post-hoc, feature-level attributions and is evaluated under novel protocols for the trustworthiness and robustness of multimodal explanations. Building on this classification-based foundation, we then shift to evidence-grounded verification with KG-CRAFT, a framework that grounds pre-trained language models in knowledge graph-based contrastive reasoning, generating structured contrastive questions to assess claim veracity and quantifying the gain attributable to such grounding over ungrounded LLM baselines. Finally, we extend KG-CRAFT from post-hoc feature explanation to the interpretability of the LLM’s own reasoning process, evaluating the factual alignment and quality of the natural-language justifications it produces for its verdicts. These contributions advance the two challenges that motivate this thesis. mu2 and mu2X progress the integration of heterogeneous information sources within a unified detection framework across multiple languages, and KG-CRAFT brings structured knowledge into LLM-based reasoning to verify claims from an evidence-grounded perspective. On the explainability side, mu2X moves AFC beyond veracity labels through feature-level attributions, and KG-CRAFT advances further by grounding interpretation in the reasoning that produces the LLM verdict itself. Together, they advance the field towards the long-term goal of fact-checking systems that are accurate, transparent, and trustworthy by design.

Banca  examinadora:

Profa. Aline Marins Paes Carvalho, UFF – Presidente

Profa. Flavia Cristina Bernardini, UFF

Prof. Leandro Santiago de Araújo, UFF

Prof. Tillman Weyde , City St George’s, University of London  

Prof. Cláudio Elízio Calazans Campelo, UFCG   

Profa. Daniela Barreiro Claro, UFBA 

Prof. Fabrício Benevenuto de Souza, UFMG