Computer Vision for Internal Damage Assessment: Enhancing Reporting in Heavy-Duty Trucks: A Study on Weakly Supervised Localization and Hierarchical Classification in Real-World Troubleshooting Pipelines
2025 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Datorseende för Intern Skadebedömning: Förbättrad Rapportering i Tunga Lastbilar : En Studie av Svagt Övervakad Lokalisering och Hierarkisk Klassificering i Industriella Miljöer med flera Objekt (Swedish)
Abstract [en]
Recent advances in CV have shifted focus toward increasingly difficult challenges, including the analysis of complex scenes containing multiple objects and dealing with datasets where annotations are incomplete or partially missing. While such conditions are common in real-world applications, they can hinder the development and deployment of automated systems. At the same time, CV holds significant potential to improve efficiency and enable automation across industrial domains. One promising approach for handling partially labeled data is WSOD, which enables localization tasks to be performed using only image-level annotations. This is particularly relevant in industrial settings such as the insurance or vehicle repair industry, where object boundaries are ambiguous and small defect regions can be difficult to separate from the background. This thesis evaluates such a problem setting through a specific use-case in internal component classification for heavy-duty trucks, a domain that presents complex multi-object scenes with limited labeled data. The proposed solution combines two key features: (1) a multi-stage hierarchical classification pipeline that leverages the structural organization of vehicle components and integrates object detectors to resolve visually ambiguous decisions, and (2) a WSOD framework that generates pseudo bounding boxes using CAMs to train object detectors without manual annotation. The study compares the proposed solution with a flat baseline classifier. It also includes a direct comparison between detectors trained on pseudo-labeled boxes and those trained on manually annotated ground-truth boxes to assess whether the former can serve as a practical substitute. Experimental results show that the combination of a hierarchical DT and object detectors trained under weak supervision significantly outperforms the flat baseline in key metrics. Moreover, detectors trained on pseudo-labeled boxes perform on par with those trained on manual annotations, indicating that the cost of supervision can be greatly reduced without sacrificing performance. The study also investigates methods for refining the pseudo bounding boxes — such as CAM scoring and SAM-based refinement — though these components leave room for further improvement. Overall, the findings suggest that WSOD, when integrated into a structured classification framework, can enable scalable and effective part-level recognition in industrial environments with minimal supervision.
Abstract [sv]
De senaste framstegen inom CV har riktat fokus mot all svårare utmaningar, såsom analys av komplexa scener med flera objekt samt hantering av datamängder där annoteringar är ofullständiga eller delvis saknas. Även om sådana förutsättningar är vanliga i verkliga tillämpningar kan de försvåra utvecklingen och införandet av automatiserade system. Samtidigt har datorseende stor potential att förbättra effektiviteten och möjliggöra automatisering inom många industrisektorer. En lovande metod för att hantera delvis annoterad data är WSOD, som möjliggör lokalisering med enbart annoteringar på bildnivå. Detta är särskilt relevant i industriella sammanhang, såsom inom försäkrings eller reparation av fordon, där objektgränser ofta är otydliga och små skador kan vara svåra att särskilja från bakgrunden. I detta examensarbete undersöks en sådan situation genom ett konkret användningsfall inom intern komponentklassificering av tunga fordon, ett område som kännetecknas av komplexa scener med flera objekt och begränsad mängd annoterad data. Den föreslagna lösningen kombinerar två centrala funktioner: (1) ett hierarkiskt klassificeringssystem som utnyttjar den strukturella organisationen av fordonskomponenter och integrerar objektigenkänning för att hantera visuellt svårtolkade fall, och (2) ett ramverk för WSOD som genererar syntetiska bounding boxes med hjälp av CAMs för att träna objektdetektorer utan manuella annoteringar. Studien jämför den föreslagna lösningen med en baslinjemodell. Den inkluderar även en direkt jämförelse mellan detektorer tränade med syntetiska annoteringar och detektorer tränade med manuellt annoterad data, för att utvärdera huruvida den förstnämnda metoden kan fungera som ett praktiskt alternativ. Experimentella resultat visar att kombinationen av ett hierarkiskt beslutsträd och objektdetektorer tränade genom WSOD överträffar den platta baslinjemodellen i de viktigaste mätvärden. Dessutom presterar detektorer tränade med syntetiska annoteringar jämförbart med dem tränade på manuella annoteringar, vilket tyder på att kostnaden kan minska avsevärt utan att försämra prestandan. Studien undersöker även metoder för att förbättra kvaliteten på syntetiska bounding boxes - såsom rankning av CAMs och SAM-baserad förbättring - även om dessa delar lämnar utrymme för framtida förbättringar. Sammantaget visar resultaten att WSOD, när det integreras i ett strukturerat klassificeringssystem, kan möjliggöra skalbar och effektiv komponentigenkänning i industriella miljöer med minimal manuell övervakning.
Place, publisher, year, edition, pages
2025. , p. 79
Series
TRITA-EECS-EX ; 2025:454
Keywords [en]
Class Activation Map, Computer Vision, Decision Trees, Deep Learning, Hierarchical Classification, Machine Learning, Pseudo-labeling, Segment Anything Model, Weakly Supervised Object Detection
Keywords [sv]
Class Activation Map, Datorseende, Beslutsträd, Djupinlärning, Hierarkisk Klassificering, Maskininlärning, Syntetiska annoteringar, Segment Anything Model, Weakly Supervised Object Detection
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-368022OAI: oai:DiVA.org:kth-368022DiVA, id: diva2:1986680
External cooperation
Scania CV AB
Supervisors
Examiners
2025-08-102025-08-012025-08-10Bibliographically approved