Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
The effects of Deep Belief Network pre-training of a Multilayered perceptron under varied labeled data conditions
KTH, School of Computer Science and Communication (CSC).
KTH, School of Computer Science and Communication (CSC).
2016 (English)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE creditsStudent thesisAlternative title
Effekterna av att initialisera en MLP med en tränad DBN givet olika begränsningar av märkt data (Swedish)
Abstract [en]

Sometimes finding labeled data for machine learning tasks is difficult. This is a problem for purely supervised models like the Multilayered perceptron(MLP). A Discriminative Deep Belief Network(DDBN) is a semi-supervised model that is able to use both labeled and unlabeled data. This research aimed to move towards a rule of thumb of when it is beneficial to use a DDBN instead of an MLP, given the proportions of labeled and unlabeled data. Several trials with different amount of labels, from the MNIST and Rectangles-Images datasets, were conducted to compare the two models. It was found that for these datasets, the DDBNs had better accuracy when few labels were available. With 50% or more labels available, the DDBNs and MLPs had comparable accuracies. It is concluded that a rule of thumb of using a DDBN when less than 50% of labels are available for training, would be in line with the results. However, more research is needed to make any general conclusions. 

Abstract [sv]

Märkt data kan ibland vara svårt att hitta för maskininlärningsuppgifter. Detta är ett problem för modeller som bygger på övervakad inlärning, exem- pelvis Multilayerd Perceptron(MLP). Ett Discriminative Deep Belief Network (DDBN) är en semi-övervakad modell som kan använda både märkt och omärkt data. Denna forskning syftar till att närma sig en tumregel om när det är för- delaktigt att använda en DDBN i stället för en MLP, vid olika proportioner av märkt och omärkt data. Flera försök med olika mängd märkt data, från MNIST och Rectangle-Images datamängderna, genomfördes för att jämföra de två mo- dellerna. Det konstaterades att för dessa datamängder hade DDBNerna bättre precision när ett fåtal märkt data fanns tillgängligt. När 50% eller mer av datan var märkt, hade DDBNerna och MLPerna jämförbar noggrannhet. Slutsatsen är att en tumregel att använda en DDBN när mindre än 50% av av träningsdatan är märkt, skulle vara i linje med resultaten. Det behövs dock mer forskning för att göra några generella slutsatser. 

Place, publisher, year, edition, pages
2016.
National Category
Computer Science
Identifiers
URN: urn:nbn:se:kth:diva-187374OAI: oai:DiVA.org:kth-187374DiVA: diva2:930038
Supervisors
Examiners
Available from: 2016-05-23 Created: 2016-05-21 Last updated: 2016-05-23Bibliographically approved

Open Access in DiVA

fulltext(1481 kB)118 downloads
File information
File name FULLTEXT01.pdfFile size 1481 kBChecksum SHA-512
591f86c885ef11a97d19892d2c57432417b394e9cefe146c3893aef5a66b559c05a0cc6b8bdbde508a6d98bc0e64ccbaeaf7eababb27817018cc0fdf36959c71
Type fulltextMimetype application/pdf

By organisation
School of Computer Science and Communication (CSC)
Computer Science

Search outside of DiVA

GoogleGoogle Scholar
Total: 118 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 323 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf