Investigating the cross-lingual generalizability of readability assessment using a multilingual BERT model fine-tuned in a single language
2025 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Undersökning av tvärspråklig generaliserbarhet för läsbarhetsbedömning med hjälp av en flerspråkig BERT-modell finjusterad på ett språk (Swedish)
Abstract [en]
Reading is a crucial part of language and educational development, but finding appropriate reading material suitable for an individual’s reading ability can be challenging. Consequently, there has been much research on automatic readability assessment using machine learning approaches. Recent research has shown that transformer-based models, typically using BERT (Bidirectional Encoder Representations from Transformers), outperform previous feature-based techniques in several languages. However, most research has focused on language-specific models and little on multilingual readability assessment. Since many smaller languages lack sufficient resources to train language-specific models, it is highly relevant to investigate whether a multilingual model fine-tuned on a single language can accurately predict reading levels of texts in other languages. In this thesis, a readability assessment model built using the multilingual BERT variant XLM-RoBERTa-Large, pre-trained on 100 languages and fine-tuned on Swedish literature, was evaluated. This was done by labeling Swedish books and their translated versions and comparing how similar the predicted labels are to the Swedish labels. The approach is based on two assumptions: that the Swedish labels are sufficiently accurate to be considered correct, and that the reading level of a book remains consistent across languages. The evaluation, which included 19 languages, showed that the model performed particularly well for languages that are linguistically close to Swedish, such as Norwegian and German, with accuracy declining for more distant languages such as Arabic, Urdu, and Pashto. This pattern held true in both a detailed nine-level readability assessment and a simplified three-level setup. While results varied, the model consistently demonstrated strong overall performance, often on par with language specific models, indicating its potential as a scalable solution for multilingual readability assessment, especially for languages with limited resources.
Abstract [sv]
Läsning är en avgörande del av språklig och utbildningsmässig utveckling, men att hitta lämpligt läsmaterial som passar en individs läsförmåga kan vara utmanande. Således har det bedrivits mycket forskning om automatisk läsbarhetsbedömning med hjälp av maskininlärningsmetoder. Nyare forskning har visat att transformerbaserade modeller, vanligtvis baserade på BERT (Bidirectional Encoder Representations from Transformers), överträffar tidigare featurebaserade tekniker på flera språk. Dock har den mesta forskningen fokuserat på språksspecifika modeller och sällan på flerspråkig läsbarhetsbedömning. Eftersom många mindre språk saknar tillräckliga resurser för att träna språksspecifika modeller är det mycket intressant att undersöka om en flerspråkig modell som finjusterats på ett enda språk korrekt kan förutsäga läsnivåer av texter på andra språk. I denna avhandling utvärderas en läsbarhetsmodell baserad på den flerspråkiga BERT-varianten XLM-RoBERTa-Large, förtränad på 100 språk och finjusterad på svensk litteratur. Utvärderingen genomfördes genom att märka svenska böcker och deras översättningar och jämföra hur lika etiketterna är med de svenska etiketterna. Tillvägagångssättet bygger på två antaganden: att de svenska etiketterna är tillräckligt exakta för att anses korrekta, och att en boks läsnivå är densamma oavsett språk. Utvärderingen, som omfattade 19 språk, visade att modellen presterade särskilt bra för språk som är språkligt nära svenskan, såsom norska och tyska, medan korrektheten minskade för mer avlägsna språk som arabiska, urdu och pashto. Detta mönster var tydligt både i en detaljerad läsbarhetsbedömning med nio nivåer och en förenklad bedömning med tre nivåer. Trots vissa variationer visade modellen genomgående goda resultat, ofta likvärdiga med språkspecifika modeller, vilket indikerar dess potential som en skalbar lösning för flerspråkig läsbarhetsbedömning, speciellt för språk med begränsade resurser.
Place, publisher, year, edition, pages
2025. , p. 52
Series
TRITA-EECS-EX ; 2025:639
Keywords [en]
Machine learning, Multilingual Readability Assessment, Transformers, BERT
Keywords [sv]
Maskininlärning, Flerspråkig läsbarhetsbedömning, Transformermodeller, BERT
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-368734OAI: oai:DiVA.org:kth-368734DiVA, id: diva2:1990576
External cooperation
ILT Education
Supervisors
Examiners
2025-08-222025-08-202025-08-22Bibliographically approved