Digitala Vetenskapliga Arkivet

Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
MeditAI: Fine-Tuning Pre-trained Large Language Models for Guided Mindfulness Practice
KTH, School of Electrical Engineering and Computer Science (EECS).
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
MeditAI: Finjustering av förtränade stora språkmodeller för guidad mindfulnesspraktik (Swedish)
Abstract [en]

This project developed MeditAI, an AI-powered chatbot designed to offer guided mindfulness practices to support the well-being of older adults. Given that mindfulness practices have been shown to alleviate mental and emotional challenges, this project focuses on fine-tuning two large language models, GPT-3.5 and LLaMA-2, to generate personalized mindfulness scripts for older adults, aimed at reducing stress, fostering positive thinking, easing loneliness, and improving sleep. The models were evaluated using metrics such as BLEU, ROUGE, METEOR, and BERTScore to assess both linguistic accuracy and semantic coherence. While GPT-3.5 demonstrated superior coherence and fluency, LLaMA-2 achieved a marginally higher F1 score, highlighting its potential for tasks requiring a balance between precision and recall. These results suggest that both models have unique strengths depending on the evaluation criteria. This project offers a novel approach to supporting the mental health of older adults through personalized digital mindfulness practices. The project underscores the potential of large language models in mental health care, while also addressing the technical challenges and computational demands associated with fine-tuning. Future research could focus on optimizing model performance with larger datasets and expanding the application of digital mindfulness to other populations.

Abstract [sv]

Detta projekt utvecklade MeditAI, en AI-driven chatbot utformad för att erbjuda guidade mindfulness-övningar för att stödja äldre vuxnas välbefinnande. Med tanke på att mindfulness har visat sig lindra mentala och emotionella utmaningar fokuserar projektet på att finjustera två stora språkmodeller, GPT- 3.5 och LLaMA-2, för att generera personliga mindfulness-manus för äldre vuxna, med målet att minska stress, främja positiva tankar, lindra ensamhet och förbättra sömnen. Modellerna utvärderades med hjälp av mått som BLEU, ROUGE, METEOR och BERTScore för att bedöma både språklig noggrannhet och semantisk sammanhållning. Medan GPT-3.5 visade överlägsen sammanhållning och flyt, uppnådde LLaMA-2 något högre F1-poäng, vilket lyfter fram dess potential för uppgifter som kräver en balans mellan precision och återkallelse. Dessa resultat tyder på att båda modellerna har unika styrkor beroende på utvärderingskriterierna. Detta projekt erbjuder ett nytt sätt att stödja äldre vuxnas mentala hälsa genom personliga digitala mindfulness-övningar. Projektet betonar de stora språkmodellernas potential inom mentalvård och belyser samtidigt de tekniska utmaningarna och beräkningskraven i samband med finjustering. Framtida forskning kan fokusera på att optimera modellprestanda med större datamängder och utvidga tillämpningen av digital mindfulness till andra populationer.

Place, publisher, year, edition, pages
2024. , p. 52
Series
TRITA-EECS-EX ; 2024:959
Keywords [en]
Mindfulness Practice, Large Language Models, Elderly Well-being, Conversational Artificial Intelligence
Keywords [sv]
Mindfulnessövning, Stora Språkmodeller, Äldres Välbefinnande, Konversationsartificiell Intelligens
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-361377OAI: oai:DiVA.org:kth-361377DiVA, id: diva2:1945211
Supervisors
Examiners
Available from: 2025-03-20 Created: 2025-03-18 Last updated: 2025-03-20Bibliographically approved

Open Access in DiVA

fulltext(700 kB)236 downloads
File information
File name FULLTEXT01.pdfFile size 700 kBChecksum SHA-512
0be196f9d93388b524e3c1139471980b8d0b3de84d672c03368da5e6d5612a39e0783e776979cd7ec35678a733c9edddce909890729e40b1d3d861f968ef651b
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 236 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 370 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf