Digitizing notes using a moving smartphone: Evaluating Oriented FAST and Rotated BRIEF (ORB)
2021 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Digitalisering av notiser med en rörlig smartphone : Utvärdering av Oriented FAST and Rotated BRIEF (ORB) (Swedish)
Abstract [en]
This thesis investigates the problem of tracking objects for an Augmented Reality (AR) setting. More specifically, the issue of tracking Post-It® notes to be used in a Mobile Augmented Reality (MAR) application using the Oriented FAST and Rotated BRIEF (ORB) keypoint extractor and descriptor, is investigated. This problem explores the relatively new and unexplored territory of tracking specific objects in real-time on mobile devices. Since MAR is becoming more prevalent, this is a field that is likely to be explored in more depth in the future. A solution was implemented in an existing note scanning application. Test sequences, with accompanying ground truth, were created for the applicable scenarios. The test sequences were used to reliably verify and evaluate the implementation with regard to precision, recall, accuracy, and speed. The ground truth was generated in a Mixed-Initiative Computing (MIC) application. The results show that tracking using only ORB is not viable if high precision, recall, or accuracy is needed. While tracking via ORB may not be viable as a standalone solution, the thesis describes methods for using it in a MIC setting, which may be viable.
Abstract [sv]
Denna masteruppsats undersöker spårning av objekt för användning i en AR- miljö. Mer specifikt så undersöks spårning av Post-It®-notiser för användning i en MAR applikation med hjälp av ORB. Det här problemet utforskar det relativt nya och outforksade området rörande spårning av specifika objekt i realtid på mobila enheter. Eftersom MAR blir alltmer vanligt förekommande, så kommer det här forskningsområdet troligtvis att utforskas mer ingående i framtiden. En lösning implementeras utöver en existerande applikation for att skanna notiser. Testsekvenser, med ackompanjerande faktisk data skapades för de relevanta scenarierna. Dessa testsekvenser användes för att kunna verifiera och utvärdera implementationen med avseende på precision, återkall, träffsäkerhet och snabbhet. All faktisk data genererades i en MIC-applikation. Resultaten visar att spårning med enbart ORB är inte genomförbart om höga krav på precision, återkall, träffsäkerhet eller snabbhet behövs. Medan spårning via ORB måhända inte är genomförbart i nuläget som en självstående lösning, så har den här mastersuppsatsen beskrivit metoder för att använda ORB i en MIC-applikation. Något som faktiskt kan vara genomförbart.
Place, publisher, year, edition, pages
2021. , p. 55
Series
TRITA-EECS-EX ; 2021:499
Keywords [en]
Augmented reality, Computer vision, Mobile applications, Object detection, Feature extraction, Human computer interaction
Keywords [sv]
Augmented reality, Förstärkt verklighet, Datorseende, Mobila applikationer, Objectdetektion, Människa-datorinteraktion
National Category
Computer Sciences
Identifiers
URN: urn:nbn:se:kth:diva-302554OAI: oai:DiVA.org:kth-302554DiVA, id: diva2:1597750
External cooperation
Bontouch AB
Subject / course
Computer Science
Educational program
Master of Science - Computer Science
Supervisors
Examiners
2021-09-282021-09-272022-06-25Bibliographically approved