Enhancing Food and Beverage Pairings with Retrieval-Augmented Generation: Evaluating SQL- and Knowledge Graph-based RAG Systems on Food and Beverage Recommendations
2025 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Förbättra kombinationer av mat och dryck med Retrieval-Augmented Generation : Utvärdering av SQL- och Knowledge Graph-baserade RAG-system för mat- och dryckesrekommendationer (Swedish)
Abstract [en]
This thesis investigates the effectiveness of two Retrieval-Augmented Generation (RAG) frameworks in generating food and beverage pairing recommendations, using data from Systembolaget. Specifically, this thesis evaluates two RAG frameworks: one based on generating SQL queries over a structured relational database (RAG-to-SQL), and another that retrieves relational knowledge through knowledge graph traversal (Knowledge graph based RAG). Quantitative analysis was performed on both frameworks by incorporating an LLM to judge their ability to generate accurate and contextually grounded recommendations. When the full context dataset was available, the results reveal a consistent preference for the knowledge graph based RAG framework, which demonstrated stronger answer relevance and more effective context retrieval compared to the RAG-to-SQL framework. In a zero-shot setting where relevant entries were removed, the performance gap widened further, underscoring the advantage of the knowledge graph based RAG framework. Its ability to leverage entity-to-entity relationships within the graph structure enables more robust retrieval and better generalization in zero-shot scenarios. In addition, a qualitative evaluation was carried out through a blinded test, where human participants assessed the trustworthiness of the generated responses. The findings revealed no statistically significant difference between the human reference and the two generated answers. This indicates that participants did not consistently prefer human-written answers over those generated by the models. Although this does not imply that the models match the performance of customer service, it highlights the potential of RAG-based approaches in food and beverage recommendation systems.
Abstract [sv]
Denna studie undersöker effektiviteten hos två RAG-ramverk (Retrieval-Augmented Generation) för att generera rekommendationer för mat- och dryckeskombinationer, baserat på data från Systembolaget. Två ramverk utvärderas: ett som genererar SQL-frågor mot en strukturerad relationsdatabas (RAG-to-SQL), och ett som hämtar kunskap genom navigering i en kunskapsgraf (kunskapsgrafbaserat RAG). En kvantitativ analys genomfördes med hjälp av en språkmodell (LLM) för att bedöma ramverkens förmåga att generera korrekta och kontextuellt relevanta rekommendationer. När hela referens datan fanns tillgänglig visade resultaten en tydlig preferens för det kunskapsgrafbaserade ramverket, som gav mer relevanta svar och effektivare kontexthämtning än RAG-to-SQL. I ett zero-shot scenario där relevant kontext uteslöts, vidgades skillnaden ytterligare, vilket understryker fördelen med ett kunskapsgrafbaserat RAG ramverk. Genom att utnyttja relationer mellan entiteter i grafen uppnår det kunskapsgrafbaserade ramverket mer robust hämtning och bättre generalisering i zero-shot-scenarier. Dessutom genomfördes en kvalitativ utvärdering genom ett blindtest där personer utvärderade svarens trovärdighet. Resultaten visade ingen statistiskt signifikant skillnad mellan de mänskliga referens svaren och de genererade svaren. Detta indikerar att deltagarna inte konsekvent föredrog de svaren skrivna av kundsupport framför de som genererades av modellerna. Även om detta inte innebär att modellerna uppnår samma prestanda som kundsupport, visar det på potentialen hos RAG-baserade metoder inom rekommendationssystem för mat och dryck.
Place, publisher, year, edition, pages
2025. , p. 56
Series
TRITA-EECS-EX ; 2025:506
Keywords [en]
Large language models, Retrieval-augmented generation, RAG, Text-to-SQL, GraphRAG, RAGAs
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-368167OAI: oai:DiVA.org:kth-368167DiVA, id: diva2:1987472
External cooperation
Systembolaget AB
Supervisors
Examiners
2025-08-112025-08-062025-08-11Bibliographically approved