MeditAI: Fine-Tuning Pre-trained Large Language Models for Guided Mindfulness Practice
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
MeditAI: Finjustering av förtränade stora språkmodeller för guidad mindfulnesspraktik (Swedish)
Abstract [en]
This project developed MeditAI, an AI-powered chatbot designed to offer guided mindfulness practices to support the well-being of older adults. Given that mindfulness practices have been shown to alleviate mental and emotional challenges, this project focuses on fine-tuning two large language models, GPT-3.5 and LLaMA-2, to generate personalized mindfulness scripts for older adults, aimed at reducing stress, fostering positive thinking, easing loneliness, and improving sleep. The models were evaluated using metrics such as BLEU, ROUGE, METEOR, and BERTScore to assess both linguistic accuracy and semantic coherence. While GPT-3.5 demonstrated superior coherence and fluency, LLaMA-2 achieved a marginally higher F1 score, highlighting its potential for tasks requiring a balance between precision and recall. These results suggest that both models have unique strengths depending on the evaluation criteria. This project offers a novel approach to supporting the mental health of older adults through personalized digital mindfulness practices. The project underscores the potential of large language models in mental health care, while also addressing the technical challenges and computational demands associated with fine-tuning. Future research could focus on optimizing model performance with larger datasets and expanding the application of digital mindfulness to other populations.
Abstract [sv]
Detta projekt utvecklade MeditAI, en AI-driven chatbot utformad för att erbjuda guidade mindfulness-övningar för att stödja äldre vuxnas välbefinnande. Med tanke på att mindfulness har visat sig lindra mentala och emotionella utmaningar fokuserar projektet på att finjustera två stora språkmodeller, GPT- 3.5 och LLaMA-2, för att generera personliga mindfulness-manus för äldre vuxna, med målet att minska stress, främja positiva tankar, lindra ensamhet och förbättra sömnen. Modellerna utvärderades med hjälp av mått som BLEU, ROUGE, METEOR och BERTScore för att bedöma både språklig noggrannhet och semantisk sammanhållning. Medan GPT-3.5 visade överlägsen sammanhållning och flyt, uppnådde LLaMA-2 något högre F1-poäng, vilket lyfter fram dess potential för uppgifter som kräver en balans mellan precision och återkallelse. Dessa resultat tyder på att båda modellerna har unika styrkor beroende på utvärderingskriterierna. Detta projekt erbjuder ett nytt sätt att stödja äldre vuxnas mentala hälsa genom personliga digitala mindfulness-övningar. Projektet betonar de stora språkmodellernas potential inom mentalvård och belyser samtidigt de tekniska utmaningarna och beräkningskraven i samband med finjustering. Framtida forskning kan fokusera på att optimera modellprestanda med större datamängder och utvidga tillämpningen av digital mindfulness till andra populationer.
Place, publisher, year, edition, pages
2024. , p. 52
Series
TRITA-EECS-EX ; 2024:959
Keywords [en]
Mindfulness Practice, Large Language Models, Elderly Well-being, Conversational Artificial Intelligence
Keywords [sv]
Mindfulnessövning, Stora Språkmodeller, Äldres Välbefinnande, Konversationsartificiell Intelligens
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-361377OAI: oai:DiVA.org:kth-361377DiVA, id: diva2:1945211
Supervisors
Examiners
2025-03-202025-03-182025-03-20Bibliographically approved