Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Expanding Paintings Data for Object Classification via Style Transfer
KTH, School of Electrical Engineering and Computer Science (EECS).
2019 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

Advances within computer vision are being propelled forward by deep convolutional networks and large publicly available datasets. However, for the task of object classification, the accessible datasets usually consist of natural images. Thus, when training networks for classifying objects in paintings, in-domain data is usually limited and natural images are frequently used as a substitute. This often results in lower classification scores due to the domain shift between the training data and the target data domains. In this thesis, we investigated the potential of using the neural artistic style transfer algorithm to create synthetic paintings in order to increase the amount of training data. We collected a dataset of over 14,500 paintings for the purpose of the experiments. A pretrained convolutional neural network was used to extract features from the images. A simple classifier was then trained on a training set of paintings to which different percentages of synthetic images were added. For comparison, the same experiment wasrepeated when natural images were added.We found that adding either synthetic images or natural images to the training data can improve object classification in paintings. Although our results do not support a general preference for synthetic images over natural images, we show that under certain conditions, i.e. for certain classes, adding synthetic images to the training data generated the largest improvement to classification. Finally, we also discuss two main obstacles in using the artistic style transfer algorithm for synthesis of paintings. The first obstacle is the transfer of noise to the synthetic images. The second obstacle is the algorithm’s failure to address aspects of depiction such as the object’s size, the image’s composition, and the change in the object’s appearance over time. This was considered a relevant issue in this thesis as we found that the natural images and the paintings notably differed in these aspects of depiction and in their extracted high-level features.

Abstract [sv]

Djupa faltningsnätverk och stora, offentligt tillgängliga dataset bidrar till stora framsteg inom datorseende. För klassificering av objekt består dom tillgängliga datamängderna oftast av fotografier. När man tränar nätverk för att klassificera objekt i målningar är tillgången till data från samma domän därför oftast begränsad och fotografier används vanligen istället. Detta resulterar dock ofta i ett lägre klassificeringsresultat på grund av domänskiftet mellan träningsdata och måldata.I detta examensarbete undersöker vi möjligheten att använda den neurala stilöverföringsalgoritmen för att skapa syntetiska målningar som kan användas för att öka mängden av träningsdata. Inför våra experiment sammanställde vi ett dataset av över 14 500 målningar. Särdragsrepresentationer extraherades från bilderna med hjälp av ett förtränat faltningsnätverk. En enkel klassificerare tränades sedan på en mängd träningsdata bestående av målningar, till vilket olika procent av syntetiska målningar adderades.Samma experiment upprepades när fotografier adderades.Vi fann att resultatet av klassificeringen kan förbättras genom att öka mängden träningsdata med hjälp av antingen syntetiska målningar eller fotografier. Vårt resultat styrker inte en generell preferens för syntetiska målningar över fotografier. Dock visar vi att under vissa förutsättningar, så som för vissa objektklasser, ger användandet av syntetiska målningar den största förbättringen i klassificering. Slutligen identifierar vi två huvudsakliga problemområden då den neurala stilöverföringsalgoritmen används för att skapa syntetiska målningar för ändamålet att öka mängden av träningsdata. Det första problemet är överföringen av brus till det syntetiska målningarna. Det andra problemet är att algoritmen endast överför målningens stil och därför ignorerar andra skillnader mellan fotografier och målningar i hur objekten skildras så som objektets storlek, bildens sammansättning och hur objektets utseende ändras över tid. Detta ansågs vara ett relevant problem då vi fann att fotografierna och målningarna skiljde sig åt i dessa avseenden samt i deras extraherade särdragsrepresentationer.

Place, publisher, year, edition, pages
2019. , p. 72
Series
TRITA-EECS-EX ; 2019:465
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-255008OAI: oai:DiVA.org:kth-255008DiVA, id: diva2:1337246
Examiners
Available from: 2019-07-12 Created: 2019-07-12 Last updated: 2019-07-12Bibliographically approved

Open Access in DiVA

fulltext(12530 kB)11 downloads
File information
File name FULLTEXT01.pdfFile size 12530 kBChecksum SHA-512
15d41e7421a9d2e11eb97da62a4385fd24cb2e26542ad2908d3287b28caf74dfbc86055cbf1b71510979bd6657b80945ecf6f23369bdaa94af637016a64a7442
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 11 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 33 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf