Digitala Vetenskapliga Arkivet

Planned maintenance
A system upgrade is planned for 17/11-2026, at 12:00-13:00. During this time DiVA will be unavailable.
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Decoupling Popularity Bias and User Fairness in LLM-Based Recommendation Systems: A prompt-engineering approach to achieve accurate, exposure-balanced, and demographically fair recommendations
KTH, School of Electrical Engineering and Computer Science (EECS).
2025 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
Att frikoppla popularitetsbias och användarrättvisa i LLM-baserade rekommendationssystem : En snabb och effektiv metod för att uppnå korrekta, långsiktiga och demografiskt rättvisa rekommendationer (Swedish)
Abstract [en]

Large Language Models (LLMs) are rapidly being adopted as “plug-and-play” recommenders that require no task-specific training, although their recommendations can still face two long-standing problems: popularity bias (overexposing blockbusters) and consumer unfairness (unequal treatment of users who differ only in sensitive attributes). This thesis investigates whether these problems can be decoupled and simultaneously mitigated purely through prompt engineering, with no access to model weights. Working with the MovieLens-1M corpus, we generate 434,880 prompts that vary three dimensions: how a user’s historical tastes are sampled (top-rated, most recent, or a newly proposed ’polarized’ mix of likes and dislikes), whether sensitive attributes are disclosed (neutral versus gender– age, occupation, or all), and which popularity debiaser has been applied (from a hard ’exclude-popular’ order to a gentle “temporal-diverse” request). We evaluate every prompt with a triad of metrics: Hit-Rate for accuracy, log-popularity difference (LPD) for popularity bias, and Jaccard similarity for the stability of recommendations when sensitive attributes are toggled on or off. The results reveal four insights. First, supplying the LLM with a rich, polarized taste signal increases accuracy by 42%. Second, temporal diversity reduces popularity bias by 0.6 log-units while incurring only a 1% loss in accuracy, whereas hard “exclude-popular” filters decrease accuracy by up to 65%. Third, popularity bias and user fairness are orthogonal; once popularity is neutralized, adding even minimal demographic information still halves list overlap, confirming that the two dimensions must be audited separately. Finally, only one configuration, polarized sampling strategy, temporal-diverse debiaser, and attribute-neutral prompt, simultaneously satisfies strict thresholds on accuracy (HR≈0.85), popularity bias (|LPD|<0.8), and fairness (Jaccard≈0.41). These results show that lowering popularity bias alone does not guarantee fairness, underscoring the need to handle each bias independently. These findings establish prompt engineering as a lightweight yet powerful lever for balancing accuracy, long-tail exposure, and demographic fairness in LLM-driven recommender systems without model retraining. Beyond empirical insights, the thesis contributes a rigorous evaluation framework and practical guidelines to build fair, bias-aware recommendation systems with large language models.

Abstract [sv]

Stora språkmodeller antas snabbt som ”plug-and-play”-rekommendationer som inte kräver någon uppgiftsspecifik utbildning, även om deras rekommendationer fortfarande kan förvärra två långvariga problem: popularitetsbias (överexponering av storfilmer) och orättvisa bland konsumenter (ojämlik behandling av användare som bara skiljer sig åt i skyddade attribut). Denna avhandling undersöker om dessa problem kan frikopplas och samtidigt mildras enbart genom prompt engineering, utan tillgång till modellvikter. Med hjälp av MovieLens-1M-korpusen genererar vi 434 880 prompts som varierar i tre dimensioner: hur en användares historiska smak samplas (topprankad, senaste eller en nyligen föreslagen ”polariserad” blandning av gilla- och ogilla-attribut), om känsliga attribut avslöjas (neutral kontra kön- ålder, yrke eller alla), och vilken popularitetsdebiaser som har tillämpats (från en hård ”exkludera-populär” ordning till en mild ”tidsmässig-divers” begäran för filmer hämtade från flera epoker). Vi utvärderar varje prompt med en triad av mätvärden: Hit-Rate för noggrannhet, log-popularitetsskillnad (LPD) för popularitetsbias och Jaccard-likhet för rekommendationernas stabilitet när känsliga attribut är aktiverade eller avaktiverade. Resultaten avslöjar fyra insikter. För det första ökar noggrannheten med 42 % om LLM förses med en rik, polariserad smaksignal. För det andra minskar tidsmässig mångfald popularitetsbias med 0,6 log-enheter samtidigt som det bara medför en förlust på 1 % i noggrannhet, medan hårda ”exkludera populära” filter minskar noggrannheten med upp till 65 %. För det tredje är popularitetsbias och användarrättvisa ortogonala; när popularitet är neutraliserad, halverar även minimal demografisk information listan, vilket bekräftar att de två dimensionerna måste granskas separat. Slutligen uppfyller endast en konfiguration, polariserad samplingsstrategi, tidsmässigt diversifierad debiaser och attributneutral prompt, samtidigt strikta trösklar för noggrannhet (HR≈0,85), popularitetsbias (|LPD|<0,8) och rättvisa (Jaccard≈0,41). Dessa resultat visar att enbart minskad popularitetsbias inte garanterar rättvisa, vilket understryker behovet av att hantera varje bias separat. Dessa fynd etablerar prompt engineering som en lätt men kraftfull hävstång för att balansera noggrannhet, exponering med lång svans och demografisk rättvisa i LLM-drivna rekommendationssystem utan modellomskolning. Utöver empiriska insikter bidrar avhandlingen med ett rigoröst utvärderingsramverk och praktiska riktlinjer för att bygga rättvisa, biasmedvetna rekommendationssystem med stora språkmodeller.

Place, publisher, year, edition, pages
2025. , p. 86
Series
TRITA-EECS-EX ; 2025:522
Keywords [en]
Large Language Models, Recommender Systems, Popularity Bias, Algorithmic Fairness, Prompt Engineering
Keywords [sv]
Stora Språkmodeller, Rekommendationssystem, Popularitetsbias, Algoritmisk Rättvisa, Promptkonstruktion
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-368189OAI: oai:DiVA.org:kth-368189DiVA, id: diva2:1987586
External cooperation
HOLVI Payment Services
Supervisors
Examiners
Available from: 2025-08-11 Created: 2025-08-06 Last updated: 2025-08-11Bibliographically approved

Open Access in DiVA

fulltext(1621 kB)651 downloads
File information
File name FULLTEXT01.pdfFile size 1621 kBChecksum SHA-512
f179c5037be3113b1df0f04f956b2aa095753e663079f42b38f2199d850b2171829df5f980a508d34aa68632c5dc4303c3ad7bea94d9e6a32c97fb9960e2c9b2
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 655 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 997 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf