Semi-Supervised Heterogeneous Transfer Learning for Tabular Data: A Study on Solutions and Applications in Mobile Networks
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Semi-övervakad heterogen överföringsinlärning för tabelldata : En studie av lösningar och tillämpningar i mobilnät (Swedish)
Abstract [en]
This thesis addresses the under-explored area of applying semi-supervised het- erogeneous domain adaptation (HetDA) methods to tabular data, specifically focusing on scenarios encountered in real-world applications such as mobile networks. The motivation arises from the lack of comprehensive solutions tailored for tabular data, despite its prevalence in various domains. The work centers around the challenge of effectively applying domain adaptation (DA) methods to tabular data, as the existing literature mainly focuses on image classification and sentiment analysis tasks. Furthermore, the study aims to bridge the gap between theoretical advancements and practical applications in mobile networks, particularly in solving the Secondary Carrier Prediction (SCP) problem. The methodological approach involves a detailed exploration of existing DA techniques, with a specific emphasis on HetDA methods. Through a systematic review, key insights are drawn from recent literature, guiding the selection of methods for evaluation and implementation. Results from the study demonstrate the effectiveness of selected methods, including Conditional Weighting Adversarial Network (CWAN), Joint Mean Embedding Alignment (JMEA), and Kernel Heterogeneous Domain Align- ment (KHDA), when applied to tabular data in multiclass classification tasks with few labeled data available. These methods showcase promising performance in terms of data efficiency. Evaluation demonstrates that HetDA techniques can achieve comparable or even superior performance to traditional methods using just 10% of the labeled data, making them a valuable solution to reduce data collection and retention. Key contributions include not only providing practical solutions for DA in tabular data but also shedding light on the importance of adapting DA techniques to domain-specific challenges, such as those encountered in mobile networks. Additionally, the study identifies potential areas for improvement and future research directions, aiming to foster advancements in DA methodologies tailored for tabular data.
Abstract [sv]
Denna uppsats behandlar det underutforskade området att tillämpa semi- övervakade heterogen domänadaption (HetDA)-metoder på tabelldata, med särskilt fokus på scenarier som förekommer i verkliga tillämpningar som mobilnät. Motivationen härrör från bristen på omfattande lösningar som är skräddarsydda för tabelldata, trots dess förekomst i olika domäner. Arbetet kretsar kring utmaningen att effektivt tillämpa domänadaption (DA)- metoder på tabelldata, eftersom den befintliga litteraturen främst fokuserar på bildklassificering och sentimentanalys. Dessutom syftar studien till att överbrygga klyftan mellan teoretiska framsteg och praktiska tillämpningar i mobilnät, särskilt när det gäller att lösa Secondary Carrier Prediction (SCP)-problemet. Det metodologiska tillvägagångssättet innebär en detaljerad utforskning av befintliga DA-tekniker, med särskild tonvikt på HetDA- metoder. Genom en systematisk granskning erhålls viktiga insikter från den senaste litteraturen, vilket vägleder valet av metoder för utvärdering och implementering. Resultaten från studien visar effektiviteten hos utvalda metoder, inklusive Conditional Weighting Adversarial Network (CWAN), Joint Mean Embedding Alignment (JMEA) och Kernel Heterogeneous Domain Alignment (KHDA), när de tillämpas på tabelldata i klassificeringsuppgifter med flera klasser med få etiketterade data tillgängliga. Dessa metoder uppvisar lovande prestanda när det gäller dataeffektivitet. Utvärderingen visar att HetDA-teknikerna kan uppnå jämförbara eller till och med överlägsna prestanda jämfört med traditionella metoder genom att använda endast 10% av de etiketterade data, vilket gör dem till en värdefull lösning för att minska datainsamling och lagring. Viktiga bidrag är inte bara att tillhandahålla praktiska lösningar för DA i tabelldata utan också att belysa vikten av att anpassa DA-tekniker till domänspecifika utmaningar, till exempel de som uppstår i mobilnät. Dessutom identifierar studien potentiella förbättringsområden och framtida forskningsinriktningar, i syfte att främja framsteg inom DA-metoder som är skräddarsydda för tabelldata.
Abstract [it]
Questa tesi affronta l’area poco esplorata dell’applicazione di metodi semi- supervisionati di adattamento del dominio eterogeneo (HetDA) a dati tabellari, concentrandosi in particolare sugli scenari incontrati in applicazioni reali come le reti mobili. La motivazione nasce dall’assenza di soluzioni complete e personalizzate per i dati tabellari, nonostante la loro prevalenza in vari domini. Il lavoro è incentrato sulla sfida di applicare efficacemente i metodi di adattamento del dominio (DA) ai dati tabellari, dato che la letteratura esistente si concentra principalmente sulla classificazione delle immagini e sui temi di sentiment analysis. Inoltre, lo studio mira a colmare il divario tra i progressi teorici e le applicazioni pratiche nelle reti mobili, in particolare per risolvere il problema di previsione del carrier secondario (SCP). L’approccio metodologico prevede un’esplorazione dettagliata delle tecniche di DA esistenti, con particolare attenzione ai metodi HetDA. Attraverso una revisione sistematica, vengono tratte le principali intuizioni dalla letteratura recente, guidando la selezione dei metodi per la valutazione e l’implementazione. I risultati dello studio dimostrano l’efficacia dei metodi selezionati, tra cui Conditional Weighting Adversarial Network (CWAN), Joint Mean Embedding Alignment (JMEA) e Kernel Heterogeneous Domain Alignment (KHDA), quando vengono applicati a dati tabellari in compiti di classificazione multiclasse con pochi dati etichettati disponibili. Questi metodi mostrano prestazioni promettenti in termini di efficienza dei dati. I risultati della va- lutazione dimostrano che le tecniche HetDA possono raggiungere prestazioni paragonabili o addirittura superiori ai metodi tradizionali utilizzando solo il 10% dei dati etichettati, il che le rende una valida soluzione per ridurre la raccolta dei dati. I contributi principali includono non solo la presentazione di soluzioni pratiche per la DA in dati tabellari, ma anche la messa in luce dell’importanza di adattare le tecniche di DA a sfide specifiche, come quelle incontrate nelle reti mobili. Inoltre, lo studio identifica le potenziali aree di miglioramento e le future direzioni di ricerca, con l’obiettivo di promuovere i progressi nelle metodologie di DA per i dati tabellari.
Place, publisher, year, edition, pages
2024. , p. 62
Series
TRITA-EECS-EX ; 2024:790
Keywords [en]
Machine Learning, Transfer learning, Heterogeneous Domain Adaptation, Semi-supervised learning, Multisource learning, Secondary Carrier Predic- tion, Tabular data
Keywords [it]
Apprendimento automatico, Apprendimento per trasferimento, Adattamento del dominio eterogeneo, Apprendimento semi-supervisionato, Apprendimento multi-fonte, Previsione del carrier secondario, Dati tabellari
Keywords [sv]
Maskininlärning, Överföringsinlärning, Heterogen domänadaption, Semi- övervakad inlärning, Lärande från flera källor, Förutsägelse av sekundärbä- rare, Tabulär data
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-360227OAI: oai:DiVA.org:kth-360227DiVA, id: diva2:1939072
External cooperation
Ericsson AB, Stockholm, Sweden
Supervisors
Examiners
2025-02-252025-02-202025-02-25Bibliographically approved