Data Augmentation for Deep-learning-based Eye-tracking using Neural Radiance Fields
2024 (Engelska)Självständigt arbete på avancerad nivå (masterexamen), 20 poäng / 30 hp
Studentuppsats (Examensarbete)Alternativ titel
Dataökning för djupinlärningsbaserat ögonspårning med neurala strålningsfält (Engelska)
Abstract [en]
In recent years, there has been an increased amount of work on using deep learning for eye-tracking with the introduction of more complex neural networks that can produce accurate estimation for various eye-tracking tasks. But one issue that instead emerges is the need for large amounts of high-quality face image data to train the models. However, acquiring the data is both expensive and problematic due to privacy reasons. To address this problem, this thesis studies a way of augmenting face image data for deep-learning-based eye-tracking models using neural radiance fields (NeRFs). In particular, a more recent model called the Zip-NeRF is used to render additional views from new angles of the faces. The uncertainty of the rendered images is also studied using a Bayesian approach to ascertain the quality of them. Afterward, a series of experiments are conducted on different test sets using a residual neural network (ResNet) with 18 layers that is trained on the augmented dataset to predict 3D eyeball positions based on the face images. To demonstrate the effectiveness of the data augmentation, the results are compared with the results from a baseline that is trained with only the original images. It is found that the model trained on the augmented images is able to generalize better to face images viewed from new camera angles not seen during training. While there still are improvements to be made in the augmentation of face images, this thesis shows that there exists potential in using NeRFs to augment data in deep-learning-based eye-tracking.
Abstract [sv]
Under de senaste åren har arbete inom metoder för ögonspårning med djupa neurala nätverk sett en ökning då fler avancerade modeller som kan producera noggranna resultat för olika ögonspårningsuppgifter har utvecklats. Det uppkommer dock ett problem i att det finns ett behov av en stor mängd ansiktsbilder med hög kvalitet för att träna dessa modeller. Införskaffandet av ansiktsbilder är vidare en dyr och problematisk process på grund av integritets anledningar. För att åtgärda detta problem studerar denna uppsats hur neurala strålningsfält (NeRFs) kan användas för dataökning av bilddata. Speciellt studeras en modell som nyligen introduceras, den så kallade Zip-NeRF, för att rendera bilder på ansikten från nya kameravinklar. En Bayesiansk analys av osäkerheten i bilderna är också gjord för att ta reda på kvalitén av renderingarna. Efteråt tränas ett residualt nätverk (ResNet) på den expanderade datamängden och modellen evalueras på en följd av experiment med olika testdata där ögonpositionerna i 3D rummet estimeras från ansiktsbilder. För att kunna demonstrera effektiviteten av dataökningen tränas också en basmodell endast på de ursprungliga bilderna och resultaten från båda modellerna jämförs sedan med varandra. Denna uppsats finner att modellen tränad på den expanderade bilddatan generaliseras bättre till nya kameravinklar som inte har setts i träningsdatan. Medan det fortfarande finns många åtgärder som kan förbättra dataökningen för ansiktsbilderna, så visar denna uppsats att det kan finnas potential i att använda NeRFs för att expandera data inom ögonspårning med djupa neurala nätverk.
Ort, förlag, år, upplaga, sidor
2024. , s. 93
Serie
TRITA-SCI-GRU ; 2024:283
Nyckelord [en]
Neural radiance fields, Neural networks, Laplace approximation, Eye-tracking, Image data augmentation
Nyckelord [sv]
Neurala strålningsfält, Neurala nätverk, Laplace approximation, Ögonspårning, Dataökning för bilddata
Nationell ämneskategori
Annan matematik
Identifikatorer
URN: urn:nbn:se:kth:diva-361492OAI: oai:DiVA.org:kth-361492DiVA, id: diva2:1946053
Externt samarbete
Tobii AB
Ämne / kurs
Matematisk statistik
Utbildningsprogram
Teknologie masterexamen - Tillämpad matematik och beräkningsmatematik
Handledare
Examinatorer
2025-03-202025-03-202025-03-20Bibliografiskt granskad