Digitala Vetenskapliga Arkivet

Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Evaluation NMT And LLM Systems For Thai-English And Swedish-English Translation
Umeå universitet, Teknisk-naturvetenskapliga fakulteten, Institutionen för datavetenskap.
2026 (Engelska)Självständigt arbete på grundnivå (kandidatexamen), 10 poäng / 15 hpStudentuppsats (Examensarbete)
Abstract [en]

This study combines two evaluation methods: three automatic evaluation metrics (BLEU, chrF, and COMET) and LLM-as-a-judge to evaluate translation quality for the low-resource language pair Thai-English. Moreover, this study also investigates translation performance by comparing with the high-resource language pair Swedish-English. Within the scope of the study, four large language model (LLM) systems (Gemini 2.5 Flash, GPT-5.4 mini, Qwen2-72B, Llama 3.3-70B) and one neural machine translation (NMT) system (Google Translate) were used to translate 32 texts drawn from the official governmental and diplomatic domain with a focus on terminological accuracy and semantic preservation. The results show that Gemini 2.5 Flash outperforms Google Translate and all other LLM- based translation systems on Thai-English translation across all three automatic metrics and LLM-as-a-judge. In contrast, Google Translate outperforms Gemini 2.5 Flash across BLEU and chrF on Swedish-English translation. These findings suggest that LLM systems are better suited for translation in low-resource languages and the combination of the evaluation methods provides a complementary evaluation of translation quality.

Ort, förlag, år, upplaga, sidor
2026. , s. 34
Serie
UMNAD ; 1654
Nyckelord [en]
Low-resource languages, Thai-English translation, Large language models, Neural machine translation, LLM-as-a-judge, Automatic evaluation metrics
Nationell ämneskategori
Data- och informationsvetenskap
Identifikatorer
URN: urn:nbn:se:umu:diva-256091OAI: oai:DiVA.org:umu-256091DiVA, id: diva2:2080042
Externt samarbete
Parsd
Utbildningsprogram
Kandidatprogrammet i Datavetenskap
Handledare
Examinatorer
Tillgänglig från: 2026-06-26 Skapad: 2026-06-26 Senast uppdaterad: 2026-06-26Bibliografiskt granskad

Open Access i DiVA

fulltext(2812 kB)814 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 2812 kBChecksumma SHA-512
0fcc0098fa2e64d42c74ee95c0d7ad846e3910e866c3c85bcaf8a779d8544b61a4bb5e98b5ca6114f2f33f4db8364eedd1629487d65360480fd62c8029a27767
Typ fulltextMimetyp application/pdf

Av organisationen
Institutionen för datavetenskap
Data- och informationsvetenskap

Sök vidare utanför DiVA

GoogleGoogle Scholar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

urn-nbn

Altmetricpoäng

urn-nbn
Totalt: 466 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf