With the recent advances in deep learning, the gaze estimation models reached new levels, in terms of predictive accuracy, that could not be achieved with older techniques. Nevertheless, deep learning consists of computationally and memory expensive algorithms that do not allow their integration for embedded systems. This work aims to tackle this problem by boosting the predictive power of small networks using a model compression method called "distillation". Under the concept of distillation, we introduce an additional term to the compressed model’s total loss which is a bounding term between the compressed model (the student) and a powerful one (the teacher). We show that the distillation method introduces to the compressed model something more than noise. That is, the teacher’s inductive bias which helps the student to reach a better optimum due to the adaptive error deduction. Furthermore, we show that the MobileNet family exhibits unstable training phases and we report that the distilled MobileNet25 slightly outperformed the MobileNet50. Moreover, we try newly proposed training schemes to increase the predictive power of small and thin networks and we infer that extremely thin architectures are hard to train. Finally, we propose a new training scheme based on the hintlearning method and we show that this technique helps the thin MobileNets to gain stability and predictive power.

Den senaste utvecklingen inom djupinlärning har hjälp till att förbättra precisionen hos gaze estimation-modeller till nivåer som inte tidigare varit möjliga. Dock kräver djupinlärningsmetoder oftast både stora mängder beräkningar och minne som därmed begränsar dess användning i inbyggda system med små minnes- och beräkningsresurser. Det här arbetet syftar till att kringgå detta problem genom att öka prediktiv kraft i små nätverk som kan användas i inbyggda system, med hjälp av en modellkomprimeringsmetod som kallas distillation". Under begreppet destillation introducerar vi ytterligare en term till den komprimerade modellens totala optimeringsfunktion som är en avgränsande term mellan en komprimerad modell och en kraftfull modell. Vi visar att destillationsmetoden inför mer än bara brus i den komprimerade modellen. Det vill säga lärarens induktiva bias som hjälper studenten att nå ett bättre optimum tack vare adaptive error deduction. Utöver detta visar vi att MobileNet-familjen uppvisar instabila träningsfaser och vi rapporterar att den destillerade MobileNet25 överträffade sin lärare MobileNet50 något. Dessutom undersöker vi nyligen föreslagna träningsmetoder för att förbättra prediktionen hos små och tunna nätverk och vi konstaterar att extremt tunna arkitekturer är svåra att träna. Slutligen föreslår vi en ny träningsmetod baserad på hint-learning och visar att denna teknik hjälper de tunna MobileNets att stabiliseras under träning och ökar dess prediktiva effektivitet.