Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Facial activity recognition as predictor for learner engagement of robot-lead language cafes
KTH, School of Electrical Engineering and Computer Science (EECS).
KTH, School of Electrical Engineering and Computer Science (EECS).
2019 (English)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE creditsStudent thesis
Abstract [en]

Sweden is a country being extra exposed to immigration and, therefore, suffer from a shortage of teachers within second language learning (L2). Other L2 solutions have increased in popularity but require many volunteers. This fact motivated the project CORALL at KTH, Stockholm, which aims to use robot-assisted language learning (RALL) to simulate a language cafe setting. In order to learn, one has to be engaged. This study thereby aims to examine whether the engagement level of students being exposed to RALL can be classified. This is a contribution to the project’s long term goal of being able to automatically adapt the robot to the learners’ engagement levels. The study also aims to analyze the project’s current status, in order to evaluate its future, by examining teachers’ and the CORALL project leader’s responses to a survey, and then utilizing the SWOT framework to draw conclusions. The technical approach is to use the open source toolkit OpenFace to extract facial features from each frame of video recordings of RALL participants. By annotating each frame with one out of four engagement levels, supervised machine learning algorithms are then used to try and estimate students’ engagement. The results from the technical study are deemed inadequate. The models produced, however, were decent at classifying high engagement levels, which could be of use for further investigation. The results from the investigative survey and the SWOT analysis suggested that the internal and external views of RALL align well with the current focal points of the project. The matter of engagement tracking was deemed as an important factor by all parties. While other circumstances could have improved the technical results, important takeaways for future work were discovered.

Abstract [sv]

Sverige är ett land som är extra utsatt för invandring och lider därför av en brist på lärare inom svenska som andraspråk (L2). Andra L2lösningar har ökat i popularitet men kräver många volontärer. Detta faktum motiverade projektet CORALL på KTH i Stockholm, som syftar till att använda robotassisterad språkinlärning (RALL) föratt simulera en språkkafé-situation. För att kunna lära sig måste man vara engagerad. Denna studie syftar därmed till att undersöka huruvida engagemangsnivån för elever som exponeras för RALL kan klassificeras. Detta bidrar till projektets långsiktiga mål att automatiskt kunna anpassa roboten till elevers engagemangsnivå. Studien syftar också till att analysera projektets nuvarande status för att utvärdera dess framtid, genom att undersöka lärarnas och projektledarens svar på en enkät och sedan använda SWOT-ramverket för att dra slutsatser. Det tekniska tillvägagångssättet är att använda den öppna källkoden till verktyget OpenFace för att extrahera ansiktsattribut från varje bildruta av videoinspelningar på RALL-deltagare. Genom att märkavarje bildruta med en av fyra engagemangsnivåer används maskininlärningsalgoritmer för att försöka förutse studenternas engagemang. Resultaten från den tekniska studien anses vara otillräckliga. De modeller som producerades var dock hyfsade för att klassificera höga engagemangsnivåer, vilket skulle kunna användas för vidare utredning. Resultaten från enkäten och SWOT-analysen framhöll att de interna och externa vyerna av RALL går väl i linje med projektets aktuella fokus. Frågan om att utröna engagemangsnivåer ansågs vara en viktig faktor av samtliga parter. Medan andra omständigheter kunde ha förbättrat de tekniska resultaten, upptäcktes viktiga saker att ta med till framtida arbeten inom ämnet.

Place, publisher, year, edition, pages
2019. , p. 14
Series
TRITA-EECS-EX ; 2019:434
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-259528OAI: oai:DiVA.org:kth-259528DiVA, id: diva2:1351886
Supervisors
Examiners
Available from: 2019-10-02 Created: 2019-09-17 Last updated: 2019-10-02Bibliographically approved

Open Access in DiVA

fulltext(1308 kB)10 downloads
File information
File name FULLTEXT01.pdfFile size 1308 kBChecksum SHA-512
35500db24d3d62270c81effc23c4fe955ea40db9789db6bda11d18f156518f683a6064fab77abb70e67e91ff299c31b99482d22c7941cbeefd8529d9efaf5a31
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 10 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 29 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf