Detta examensarbete behandlar utveckling och utvärdering av en svensk domänspecifik chatbot för frågebesvarande över öppna svenska dokument inom konsumenträtt. Syftet var att undersöka hur ett språkmodellsbaserat system kan utformas för dokumentbaserat frågebesvarande samt hur svarskvaliteten påverkas när svarsgenereringen stöds av extern dokumentbaserad kontext. Studien genomfördes genom att utveckla en prototyp baserad på GPT-SW3 1.3B Instruct i två systemkonfigurationer. Den första konfigurationen genererade svar direkt från språkmodellen utan extern dokumenthämtning. Den andra använde Retrieval-Augmented Generation, där relevanta textsegment hämtades från en sökbar kunskapsbas och användes som kontext i prompten. Dokumenten rensades, delades upp i textsegment, omvandlades till embeddings och gjordes sökbara genom semantisk sökning. Utvärderingen omfattade 15 testfrågor och svaren bedömdes manuellt på en femgradig skala utifrån relevans, korrekthet och källförankring. Även svarstid mättes. Resultaten visade att RAG-konfigurationen gav högre genomsnittlig svarskvalitet än systemet utan RAG. Det sammanlagda genomsnittet för de tre kvalitetskriterierna ökade från 2,1 till 2,8 poäng. Relevansen ökade från 2,3 till 2,9, korrektheten från 1,9 till 2,9 och källförankringen från 2,1 till 2,7. Samtidigt ökade den genomsnittliga svarstiden från 19,8 till 29,4 sekunder. Slutsatsen är att RAG kan förbättra dokumentbaserat frågebesvarande i en svensk kontext, men att kvaliteten fortfarande beror på retrieval-steget, dokumentunderlaget och språkmodellens förmåga att tolka den hämtade kontexten.

This thesis concerns the development and evaluation of a Swedish domain-specific chatbot for question answering over open Swedish documents in the consumer law domain. The aim was to investigate how a language-model-based system can be designed for document-based question answering and how answer quality is affected when generation is supported by external document context. The study was conducted by developing a prototype based on GPT-SW3 1.3B Instruct in two system configurations. The first generated answers directly from the language model without external retrieval. The second used Retrieval-Augmented Generation, where relevant text segments were retrieved from a searchable knowledge base and used as context in the prompt. The documents were cleaned, divided into text segments, converted into embeddings and made searchable through semantic search. The evaluation included 15 test questions, and the answers were manually assessed on a five-point scale according to relevance, correctness and source grounding. Response time was also measured. The results showed that the RAG configuration achieved higher average answer quality than the system without RAG. The combined average score across the three quality criteria increased from 2.1 to 2.8 points. Relevance increased from 2.3 to 2.9, correctness from 1.9 to 2.9, and source grounding from 2.1 to 2.7. At the same time, the average response time increased from 19.8 to 29.4 seconds. The conclusion is that RAG can improve document-based question answering in a Swedish context, but quality still depends on retrieval, document coverage and the model’s ability to interpret the retrieved context.