Thematic analysis, while crucial for qualitative research, becomes challenging with large datasets due to the intensive manual effort involved. This thesis explores the capacity of Large Language Mod- els (LLMs) to automate and enhance this process through different prompting techniques, benchmarking their performance against human-generated analyses. In this thesis we compare three distinct approaches: (1) Zero-Shot prompting, a single-prompt solution relying solely on pre-trained knowledge; (2) Top- Down Structured Prompting (TDSP), leveraging prompt engineering principles by starting with broad themes and progressively refining analysis; and (3) Bottom-Up Structured Prompting (BUSP), mirroring the established six steps of human thematic analysis designed for efficient extraction of nuanced insights. Applying these techniques to three diverse qualitative datasets, we used a rubric-based scoring system to evaluate the outputs against findings from the original research. Our results demonstrate that structured prompting techniques, particularly TDSP, significantly outperform the Zero-Shot approach in accurately capturing key findings. On average, 86% of findings identified by human researchers were at least par- tially identified in the outputs generated using structured prompting techniques. We also explored using an AI-based evaluator for rubric scoring but found the results unreliable, indicating that human evalua- tion remains crucial. This study makes a compelling argument that AI can efficiently perform thematic analysis and, especially in the future, provide substantial support to qualitative researchers in their work.

Tematisk analys, som är avgörande för kvalitativ forskning, blir utmanande med stora datamängder på grund av den intensiva manuella ansträngning som krävs. I den här avhandlingen undersöks kapaciteten hos stora språkmodeller (LLM) för att automatisera och förbättra denna process genom olika prompt- tekniker och jämföra deras prestanda med mänskligt genererade analyser. I denna avhandling jämför vi tre olika tillvägagångssätt: (1) Zero-Shot prompting, en lösning med en enda uppmaning som enbart förl- itar sig på förutbildad kunskap; (2) Top-Down Structured Prompting (TDSP), som utnyttjar principer för promptteknik genom att börja med breda teman och gradvis förfina analysen; och (3) Bottom-Up Struc- tured Prompting (BUSP), som speglar de etablerade sex stegen i mänsklig tematisk analys utformad för effektiv extraktion av nyanserade insikter. Genom att tillämpa dessa tekniker på tre olika kvalitativa dataset använde vi ett rubrikbaserat poängsystem för att utvärdera resultaten mot resultaten från den ursprungliga forskningen. Våra resultat visar att strukturerade uppmaningstekniker, särskilt TDSP, är betydligt bättre än Zero-Shot-metoden när det gäller att korrekt fånga viktiga resultat. I genomsnitt iden- tifierades 86% av de resultat som identifierats av mänskliga forskare åtminstone delvis i de resultat som genererats med hjälp av strukturerade prompttekniker. Vi undersökte också möjligheten att använda en AI-baserad utvärderare för bedömning av rubriker, men resultaten var otillförlitliga, vilket tyder på att mänsklig utvärdering fortfarande är avgörande. Denna studie ger ett övertygande argument för att AI effektivt kan utföra tematisk analys och, särskilt i framtiden, ge betydande stöd till kvalitativa forskare i deras arbete.