The integration of artificial intelligence (AI) in healthcare has led to significant advancements in medical imaging and diagnosis. However, AI-based medical image diagnostic models often exhibit biases due to demographic data imbalances, raising concerns about fairness. Many prior methods struggle to outperform traditional statistical methods and fail to leverage the rich complementary information in multimodal medical data, which resembles human diagnostic reasoning. To bridge this gap, this thesis explores a novel fairness-aware multimodal GNN framework as a case study to investigates the potential of multimodal strategy in mitigating bias while maintaining diagnostic utility in medical image classification. This research proposes two models: Multi-Modal GNN and Multi-Modal Multi-Channel GNN. These models incorporate three key modules: Cross- Modal Feature Fusion, Adaptive Graph Construction, and GNN-based Classification. Furthermore, the Multi-Modal Multi-Channel GNN constructs adjacency matrices from diverse modality combinations, enhancing intra- and inter-modal feature learning through inter-channel fusion. In pilot experiments on citation networks (Citeseer and DBLP), the Multi-Channel GNN outperformed baselines, including GCN, GAT, and GCNII, by up to 6.31% and demonstrated strong scalability. In the main experiments, the multi-modal configuration consistently outperformed the uni-modal setup on GNN-based diagnostic utility metrics (e.g., AUC, TPR@80TNR) and fairness metrics (e.g., AUC Gap, EqOdd). This demonstrates that integrating multi- modal information not only enhances disease feature detection but also ensures more balanced performance across different protected groups. Moreover, taking minimax fairness, group fairness and utility into account, the proposed Multi-Modal Multi-Channel GNN achieved competitive rankings (4/15 in the sex experiment and 5/15 in the race experiment), with only two SOTA methods—DomainInd and ODR-consistently outperforming it. This study underscores the potential of multimodal learning in addressing fairness while preserving medical image diagnostic accuracy in AI healthcare, providing insights and inspiration for future research.

Integrationen av artificiell intelligens (AI) inom hälso- och sjukvården har lett till betydande framsteg inom medicinsk avbildning och diagnos. Dock uppvisar AI-baserade modeller för diagnostik av medicinska bilder ofta partiskheter på grund av obalanser i demografiska data, vilket väcker farhågor om rättvisa. Många tidigare metoder har svårt att överträffa traditionella statistiska metoder och misslyckas med att utnyttja den rika, kompletterande informationen i multimodala medicinska data, vilket påminner om mänsklig diagnostisk resonemang. För att överbrygga denna klyfta undersöker denna avhandling en ny rättviseinriktad multimodal GNN-ram som ett fallstudie för att undersöka potentialen hos en multimodal strategi att minska bias samtidigt som den bevarar den diagnostiska nyttan vid klassificering av medicinska bilder. Forskningen föreslår två modeller: Multi-Modal GNN och Multi-Modal Multi-Channel GNN. Dessa modeller innehåller tre centrala moduler: Cross-Modal Feature Fusion, Adaptive Graph Construction samt GNN-baserad klassificering. Vidare konstruerar Multi-Modal Multi-Channel GNN närhetsmatriser från olika modalitetskombinationer, vilket förbättrar intra- och intermodal inlärning av funktioner genom interkanalfusion. I pilotexperiment på citationsnätverk (Citeseer och DBLP) överträffade Multi- Channel GNN baslinjemetoder, inklusive GCN, GAT och GCNII, med upp till 6,31 % och visade på stark skalbarhet. I huvudexperimenten överträffade den multimodala konfigurationen konsekvent den unimodala inställningen vad gäller GNN-baserade diagnostiska nytta-mått (t.ex. AUC, TPR@80TNR) och rättvisemått (t.ex. AUC Gap, EqOdd). Detta demonstrerar att integreringen av multimodal information inte bara förbättrar upptäckten av sjukdomsfunktioner utan även säkerställer en mer balanserad prestanda över olika skyddade grupper. Dessutom, med hänsyn till minimax-rättvisa, grupp- rättvisa och nytta, uppnådde den föreslagna Multi-Modal Multi-Channel GNN konkurrenskraftiga placeringar (4/15 i könsexperimentet och 5/15 i rasexperimentet), där endast två toppmetoder – DomainInd och ODR – konsekvent överträffade den. Denna studie understryker potentialen hos multimodal inlärning för att hantera rättvisa samtidigt som den bevarar den medicinska bilddiagnostikens noggrannhet inom AI-hälso- och sjukvården, och ger insikter samt inspiration för framtida forskning.