Ensemble Learning for Social Robots: Enhancing Decision-Making in Human Group Interactions: Extending the TGM Model with Ensemble MPGNN Strategies to Improve Social Robot Decision Accuracy
2025 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Ensembleinlärning för sociala robotar : Förbättrat beslutsfattande i mänskliga gruppinteraktioner (Swedish)
Abstract [en]
As social robots are increasingly used in various group scenarios of public services, how to make social robots be able to interact effectively in group setting is becoming a research focus for Human Robot Interaction (HRI). Compared to dyadic interaction, group social scenarios are more complex, especially the social styles of different groups are also different, which requires robots to have stronger reasoning and decision-making capabilities in groups. In recent years, some studies have introduced Graph Neural Networks (GNNs) into the field of HRI to model the relationship and interaction characteristics between interacting individuals. The Template- and Graph-based Modeling (TGM) method with Message Passing Graph Neural Network (MPGNN)as the core has made initial progress in solving the two types of decision problems: ”whom to interact with” and ”what behavior to take”. However, due to the subjectivity in human demonstration datasets, as different individuals may demonstrate varying strategies or preferences even under similar social situations, the small size of datasets, and the constraints of the models themselves, existing models still have deficiencies in generalization ability and decision accuracy. To address the above problems, this study proposed an MPGNN model optimization method based on ensemble learning. By adjusting different hyperparameter combinations and layer architectures, heterogeneous model variants were constructed and several models with their excellent performance were selected according to the Macro F1 score on the validation set. Ensemble fusion strategies such as soft voting and stacking were introduced to fuse the model outputs. The experiment was conducted on the Teenager dataset, in which teenagers controlled a robot to assist in completing group interaction tasks, and the evaluation metrics was the Macro-F1 score on the test set. The results show that the model based on ensemble learning outperforms the original baseline in the full group and the three subgroups present in the dataset, verifying the effectiveness of the proposed method. Overall, this study provides new ideas for the robust modeling of GNNs models in small sample group settings, and expands the application potential of the TGM method in real social scenarios.
Abstract [sv]
Eftersom sociala robotar används alltmer i olika gruppscenarier för offentliga tjänster, blir hur man gör sociala robotar som kan interagera effektivt i gruppmiljö ett forskningsfokus för HRI. Jämfört med dyadisk interaktion är sociala scenarier i grupp mer komplexa, särskilt de sociala stilarna i olika grupper är också olika, vilket kräver att robotar har starkare resonemang och beslutsfattande i grupper. Under de senaste åren har vissa studier introducerat GNNs inom området HRI för att modellera relationen och interaktionsegenskaperna mellan interagerande individer. Metoden TGM med MPGNN som kärna har gjort inledande framsteg när det gäller att lösa två typer av beslutsproblem: ”vem man ska interagera med” och ”vilket beteende man ska ha”. Modeller baserade på MPGNN har fortfarande begränsningar i generaliseringsförmåga och beslutsnoggrannhet, vilket beror på subjektiviteten i mänskliga demonstrationsdataset – där olika individer kan uppvisa varierande strategier eller preferenser i liknande sociala situationer – samt den begränsade storleken på dataset och modellernas egna restriktioner. För att hantera dessa utmaningar föreslår denna studie en ensemblebaserad metod för att optimera MPGNN-modellen. Genom att variera olika kombinationer av hyperparametrar och lagerarkitekturer konstruerades heterogena modellvarianter, varav flera valdes ut baserat på deras Macro F1-poäng på valideringsuppsättningen. Slutligen tillämpades ensemblefusionstekniker, såsom soft voting och stacking, för att kombinera modellernas utdata. Experimentet genomfördes på Teenager-datasetet, där tonåringar styrde en robot för att hjälpa till att slutföra gruppinteraktionsuppgifter, och utvärderingsmåttet var Macro-F1-poängen på testuppsättningen. Resultaten visar att modellen baserad på ensembleinlärning överträffar den ursprungliga baslinjen avsevärt i hela gruppen och de tre undergrupperna som finns i datasetet, vilket verifierar effektiviteten hos den föreslagna metoden. Sammantaget ger denna studie nya idéer för robust modellering av GNNs-modeller i små urvalsgruppsinställningar och utökar applikationspotentialen för TGM-metoden i verkliga sociala scenarier.
Place, publisher, year, edition, pages
2025. , p. 40
Series
TRITA-EECS-EX ; 2025:466
Keywords [en]
Social Robots, Graph Neural Networks, Ensemble Learning, Human-Robot Interaction, Groups, Imitation Learning
Keywords [sv]
Sociala Robotar, Grafneurala Nätverk, Ensembleinlärning; Människa-Robot-Interaktion; Grupper; Imitationsinlärning
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-368034OAI: oai:DiVA.org:kth-368034DiVA, id: diva2:1986695
Supervisors
Examiners
2025-08-102025-08-012025-08-10Bibliographically approved