Anomaly detection is the task of identifying data that deviates from a normal set of data. When dealing with larger data a common approach is to split the data into same-sized patches for more feasible and uniform model input. A problem that occurs when using convolutions is that a larger patch size negatively impacts the detection performance on smaller anomalies and the smaller patch size risks missing anomalies that span over the patch size. In this thesis we investigate vision transformers for this anomaly detection task, with its self-attention it is a perfect candidate for this problem. After a study of the current field, we chose to implement InTra, an inpainting transformer that trains on reconstructing an obstructed part of the image using its surroundings. A four times increase in patch size was achieved with performance similar to its convolutional counterparts, being limited by available computational resources for increasing it further. InTra does not only keep up at this larger patch size but even improves local performance in some aspects by detecting known local anomalies that the convolutional models cannot. However, the increased patch size has not shown any improvements on larger anomalies but we see larger patch sizes as a great first step toward this goal. Additionally, this thesis investigates different training losses for InTra and their effect on performance. The standard Mean Squared Error (MSE) shows good results for InTra but is improved by combining it with Multiple Scale Gradient Magnitude Similarity (MSGMS). The statistical significance cannot be shown for all comparisons of the joint error versus the sole MSE, therefore, future studies are needed to improve the confidence of MSGMS performance improvements on surface defect detection tasks.

Anomalidetektering går ut på att identifiera data som avviker från en normal uppsättning av data. När man hanterar större data är ett vanligt tillvägagångsätt att dela upp datan i lika stora lappar för att göra den mer hanterbar och bättre som modellinput. Ett problem som uppstår vid användning av konvolutioner är att en större lappstorlek påverkar detekteringsprestandan på mindre anomalier och användning av mindre lappstorlek riskerar att missa större anomalier som sträcker sig över lappens storlek. I den här masteruppsatsen undersöker vi vision transformers för detta anomalidetekteringsproblem, transformern är en perfekt kandidat för detta på grund av dess ”self-attention” mekanism. Efter en litteraturstudie av fältet valde vi att implementera InTra, en transformer som tränar på att återställa en ifylld del av bilden med hjälp av närliggande delar av bilden. En fyrdubbling av lappstorleken uppnåddes med liknande prestanda till tidigare konvolutionella modeller med mindre lappstorlek. InTra uppnådde inte bara liknande prestanda utan förbättrar den lokala prestandan på vissa områden och lyckas identifiera kända anomalier som kovolutionsmodellerna inte lyckas med. Dock ökar inte den större lappstorleken prestandan på större anomalier, men bra prestanda med större lappstorlek ser vi som ett bra första steg mot detta mål. Dessutom undersöker denna uppsats olika träningsförluster för InTra och deras effekt på prestandan. En intressant upptäckt är de lovande resultaten av Multiple Scale Gradient Magnitude Similarity (MSGMS), som presterar sämre på egen hand men bra resultat när den används i kombination med det vanliga förlustfunktionen genomsnittligt kvadratiskt fel (MSE).