Image Classification of Printed Circuit Boards using Deep Learning
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Bildklassificering av Kretskort med Djupinlärning (Swedish)
Abstract [en]
The increasing volume of electronic waste presents significant environmental challenges, with large amounts of unaccounted valuable materials and hazardous substances. To recover these materials and mitigate environmental harm it is essential to recycle and sort the integral components of electronic devices, namely Printed Circuit Boards. This thesis explores the potential of Deep Learning to identify Printed Circuit Boards using image classification. Traditionally, Convolutional Neural Networks have been the dominant choice for computer vision tasks due to their image-specific biases. However recently, Transformers have emerged demonstrating competitive performance. Based on self-attention mechanisms, Transformers can capture global patterns and long-range dependencies, outperforming Convolutional Neural Networks with sufficient data. Advances in hybrid architectures that blend the translational invariance and locality bias of Convolutional Neural Networks with the scalability and long-range dependency modeling of Transformers, have led to state-of-the-art performance in image classification. This thesis explores several Deep Learning models and demonstrates that ConvNeXt, a hybrid architecture, performs well in classifying Printed Circuit Boards. Utilizing Deep Learning models necessitates access to sufficient amounts of data. Due to the limited availability of annotated data, this thesis tackles the issue by leveraging a combination of transfer learning and data augmentation. These model enhancement methods can boost the predictive performance of ConvNeXt while maintaining computational efficiency. The findings reveal that CutMix outperforms the other data augmentation methods, achieving an accuracy of 93.5% with transfer learning. Additionally, training only the dense layer presents the optimal results as fine-tuning more layers did not result in noticeable improvements.
Abstract [sv]
Den kontinuerligt ökande mängden av globalt elektroniskt avfall har lett till flera miljöutmaningar, inklusive stora mängder av värdefull material och farliga ämnen som förblir ohanterade. För att motverka dessa utmaningar och minska miljöpåverkan är det viktigt att återvinna och sortera de huvudsakliga komponenterna i elektroniska apparater, nämligen kretskort. Denna avhandling undersöker potentialen hos djupinlärning för att identifiera kretskort genom bildklassificering. Tidigare har konvolutionella neurala nätverk varit den dominerande metoden för datorseendeuppgifter. På senare tid har transformatorer, som ursprungligen utvecklades för Natural Language Processing, visat konkurrenskraftig prestanda inom datorseende. Baserade på självuppmärksamhetsmekanismer bearbetar transformatorer långa sekvenser parallellt och kan därmed fånga globala mönster i data. Detta ger högre träff- säkerhet än konvolutionella neurala nätverk, förutsatt att tillräckligt med data finns tillgängligt. Utvecklingen av hybrida arkitekturer, som kombinerar den translationella invariansen och lokalitetsbiasen hos konvolutionella neurala nätverk med skalbarheten och parallellberäkningen hos transformatorer, har lett till topprestanda inom bildklassificering. Denna avhandling undersöker flera modeller för djupinlärning och visar att ConvNeXt, en hybridarkitektur, presterar utmärkt vid klassificering av kretskort. Djupinlärningsmodeller kräver stora mängder data för att uppnå hög träffsäkerhet. På grund av den begränsade tillgången till annoterad data undersöks effekten av både transferinlärning och datamanipulering. Dessa metoder syftar till att öka prestandan samtidigt som beräkningseffektiviteten bibehålls. Resultaten visar att CutMix överträffar andra metoder för datamanipulering och uppnår en noggrannhet på 93,5% tillsammans med transferinlärning. Dessutom visas att träning av endast det täta lagret ger det optimala resultatet, eftersom träning av fler lager inte ger någon märkbar förbättring.
Place, publisher, year, edition, pages
2024. , p. 56
Series
TRITA-EECS-EX ; 2024:869
Keywords [en]
Printed Circuit Boards, Deep Learning, Deep Neural Networks, Image Classification, Transfer Learning, Data Augmentation, CutMix, ConvNeXt
Keywords [sv]
Kretskort, Djupinlärning, Flerskiktiga Neurala Nätverk, Bildklassificering, Transferinlärning, Datamanipulering, CutMix, ConVNeXt
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-360838OAI: oai:DiVA.org:kth-360838DiVA, id: diva2:1942079
External cooperation
Urban Miners AB
Supervisors
Examiners
2025-03-072025-03-042025-03-07Bibliographically approved