Leveraging Room Information for Enhanced Loop Closure Detection: An Application of Image Texture Analysis for Robotic Perception
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Utnyttja Rumsinformation för Förbättrad Detektering av Loopstängning : En Tillämpning av Bildtexturanalys för Robotperception (Swedish)
Abstract [en]
A fundamental task within the mapping and localization of autonomous systems is loop closure detection. Loop closure detection is the task of recognizing a previously visited location, which is crucial for refining the map and localization estimates by enabling the correction of accumulated errors. This thesis investigates techniques to enhance loop closure detection in the real-time visual simultaneous localization and mapping framework Hydra. Hydra builds a 3D scene graph, a hierarchical map representation of its surrounding environment, using measured visual-inertial data. The 3D scene graph contains information at different abstraction levels: buildings, rooms, places, objects, and agents. The loop closure detection for the 3D scene graph is hierarchical, considering the layers of places, objects, and agents. This thesis aims to incorporate an additional room layer in loop closure detection, requiring the encoding of room descriptors and integration into the 3D scene graph architecture. By incorporating an additional room layer, room information will be leveraged in the loop closure detection, enabling disambiguation of similar environments by considering supplementary information. The chosen approach for encoding room descriptors is to leverage image texture analysis because image texture descriptors are computationally inexpensive and suitable for real-time frameworks such as Hydra. Texture descriptors are extracted from salient image regions, determined by a saliency map, for keyframe images belonging to the room and compiled into a room descriptor. The texture descriptors experimentally found to be most beneficial are the Haralick features and the mean, standard deviation, entropy, skewness, and kurtosis extracted from a normalized adaptive local ternary pattern histogram. The obtained experimental results show that leveraging image texture descriptors can improve the loop closure detection precision at the cost of decreased loop closure detection recall. Generally, in loop closure detection, precision is more important than recall as false positive loop closures are more difficult to correct than false negatives. Ultimately, this thesis demonstrates the application of image texture analysis in real-time loop closure detection.
Abstract [sv]
En fundamental uppgift inom kartläggning och lokalisering av autonoma system är loopdetektering. Loopdetektering är uppgiften att känna igen en tidigare besökt plats, vilket är avgörande för att förbättra kartan och lokaliseringsestimat genom att möjliggöra korrigering av ackumulerade fel. Detta examensarbete undersöker tekniker för att förbättra detektering av loopstängning i realtids visuella simultana lokaliserings- och kartläggningsramverket Hydra. Hydra bygger en 3D-scengraf, en hierarkisk kartrepresentation av den omgivande miljön, med hjälp av uppmätt visuell-inertial data. 3D-scengrafen innehåller information på olika abstraktionsnivåer: byggnader, rum, platser, objekt och agenter. Loopdetektionen för 3D-scengrafen är hierarkisk och nyttjar lagren av platser, objekt och agenter. Det här examensarbetet syftar till att implementera ett extra rumslager i detektering av loop-stängning, vilket kräver kodning av rumsbeskrivare och integration i 3D-scengrafarkitekturen. Genom att införliva ett extra rumslager kommer rumsinformation att utnyttjas i loopdetekteringen, vilket möjliggör frånskiljande av liknande miljöer genom att överväga kompletterande information. Det valda tillvägagångssättet för att koda rumsbeskrivare är att utnyttja bildtexturanalys eftersom bildtexturbeskrivare är beräkningsmässigt kostnadseffektiva och lämpliga för realtidsramverk som Hydra. Texturbeskrivare extraheras från framträdande bildregioner, fastställda av en framträdande karta, för nyckelbilder som hör till rummet och sammanställs till en rumsbeskrivare. De texturbeskrivare som experimentellt visat sig vara mest fördelaktiga är Haralick kännetecknena och medelvärdet, standardavvikelsen, entropin, skevheten och kurtosen extraherad från ett normaliserat adaptivt lokalt ternärt mönsterhistogram. De erhållna experimentella resultaten visar att utnyttjande av bildtexturbeskrivare kan förbättra loopdetekteringsprecisionen till bekostnad av minskad loopdetekterings återkallelse. Generellt sett är precision viktigare än återkallelse för loopdetektering, eftersom falska positiva loop-stängningar är svårare att korrigera än falska negativa. I slutändan demonstrerar denna avhandling tillämpningen av bildtexturanalys inom loopdetektering i realtid.
Place, publisher, year, edition, pages
2024. , p. 85
Series
TRITA-EECS-EX ; 2024:307
Keywords [en]
Computer Vision, Loop Closure Detection, 3D Scene Graph, Image Texture Analysis
Keywords [sv]
Datorseende, Loopdetektion, 3D-scengraf, Bildtextur Analys
National Category
Electrical Engineering, Electronic Engineering, Information Engineering
Identifiers
URN: urn:nbn:se:kth:diva-351882OAI: oai:DiVA.org:kth-351882DiVA, id: diva2:1890210
External cooperation
Telefonaktiebolaget LM Ericsson
Educational program
Master of Science - Information and Network Engineering
Supervisors
Examiners
2024-09-302024-08-192024-09-30Bibliographically approved