Digitala Vetenskapliga Arkivet

Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Investigating the cross-lingual generalizability of readability assessment using a multilingual BERT model fine-tuned in a single language
KTH, School of Electrical Engineering and Computer Science (EECS).
2025 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
Undersökning av tvärspråklig generaliserbarhet för läsbarhetsbedömning med hjälp av en flerspråkig BERT-modell finjusterad på ett språk (Swedish)
Abstract [en]

Reading is a crucial part of language and educational development, but finding appropriate reading material suitable for an individual’s reading ability can be challenging. Consequently, there has been much research on automatic readability assessment using machine learning approaches. Recent research has shown that transformer-based models, typically using BERT (Bidirectional Encoder Representations from Transformers), outperform previous feature-based techniques in several languages. However, most research has focused on language-specific models and little on multilingual readability assessment. Since many smaller languages lack sufficient resources to train language-specific models, it is highly relevant to investigate whether a multilingual model fine-tuned on a single language can accurately predict reading levels of texts in other languages. In this thesis, a readability assessment model built using the multilingual BERT variant XLM-RoBERTa-Large, pre-trained on 100 languages and fine-tuned on Swedish literature, was evaluated. This was done by labeling Swedish books and their translated versions and comparing how similar the predicted labels are to the Swedish labels. The approach is based on two assumptions: that the Swedish labels are sufficiently accurate to be considered correct, and that the reading level of a book remains consistent across languages. The evaluation, which included 19 languages, showed that the model performed particularly well for languages that are linguistically close to Swedish, such as Norwegian and German, with accuracy declining for more distant languages such as Arabic, Urdu, and Pashto. This pattern held true in both a detailed nine-level readability assessment and a simplified three-level setup. While results varied, the model consistently demonstrated strong overall performance, often on par with language specific models, indicating its potential as a scalable solution for multilingual readability assessment, especially for languages with limited resources.

Abstract [sv]

Läsning är en avgörande del av språklig och utbildningsmässig utveckling, men att hitta lämpligt läsmaterial som passar en individs läsförmåga kan vara utmanande. Således har det bedrivits mycket forskning om automatisk läsbarhetsbedömning med hjälp av maskininlärningsmetoder. Nyare forskning har visat att transformerbaserade modeller, vanligtvis baserade på BERT (Bidirectional Encoder Representations from Transformers), överträffar tidigare featurebaserade tekniker på flera språk. Dock har den mesta forskningen fokuserat på språksspecifika modeller och sällan på flerspråkig läsbarhetsbedömning. Eftersom många mindre språk saknar tillräckliga resurser för att träna språksspecifika modeller är det mycket intressant att undersöka om en flerspråkig modell som finjusterats på ett enda språk korrekt kan förutsäga läsnivåer av texter på andra språk. I denna avhandling utvärderas en läsbarhetsmodell baserad på den flerspråkiga BERT-varianten XLM-RoBERTa-Large, förtränad på 100 språk och finjusterad på svensk litteratur. Utvärderingen genomfördes genom att märka svenska böcker och deras översättningar och jämföra hur lika etiketterna är med de svenska etiketterna. Tillvägagångssättet bygger på två antaganden: att de svenska etiketterna är tillräckligt exakta för att anses korrekta, och att en boks läsnivå är densamma oavsett språk. Utvärderingen, som omfattade 19 språk, visade att modellen presterade särskilt bra för språk som är språkligt nära svenskan, såsom norska och tyska, medan korrektheten minskade för mer avlägsna språk som arabiska, urdu och pashto. Detta mönster var tydligt både i en detaljerad läsbarhetsbedömning med nio nivåer och en förenklad bedömning med tre nivåer. Trots vissa variationer visade modellen genomgående goda resultat, ofta likvärdiga med språkspecifika modeller, vilket indikerar dess potential som en skalbar lösning för flerspråkig läsbarhetsbedömning, speciellt för språk med begränsade resurser.

Place, publisher, year, edition, pages
2025. , p. 52
Series
TRITA-EECS-EX ; 2025:639
Keywords [en]
Machine learning, Multilingual Readability Assessment, Transformers, BERT
Keywords [sv]
Maskininlärning, Flerspråkig läsbarhetsbedömning, Transformermodeller, BERT
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-368734OAI: oai:DiVA.org:kth-368734DiVA, id: diva2:1990576
External cooperation
ILT Education
Supervisors
Examiners
Available from: 2025-08-22 Created: 2025-08-20 Last updated: 2025-08-22Bibliographically approved

Open Access in DiVA

fulltext(769 kB)139 downloads
File information
File name FULLTEXT01.pdfFile size 769 kBChecksum SHA-512
f4abd586ab794f4642176d16435e46957e879c3be2e1f71bbdd66ae89ead0a101a3bb4cb718ae07a74249bf60ccc130b6d7a0eacbb97cf49d709aebcf43737d9
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 140 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 905 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf