Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
DirCNN: Rotation Invariant Geometric Deep Learning
KTH, School of Engineering Sciences (SCI), Mathematics (Dept.), Mathematical Statistics.
2019 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
DirCNN: Rotationsinvariant geometrisk deep learning (Swedish)
Abstract [en]

Recently geometric deep learning introduced a new way for machine learning algorithms to tackle point cloud data in its raw form. Pioneers like PointNet and many architectures building on top of its success realize the importance of invariance to initial data transformations. These include shifting, scaling and rotating the point cloud in 3D space. Similarly to our desire for image classifying machine learning models to classify an upside down dog as a dog, we wish geometric deep learning models to succeed on transformed data. As such, many models employ an initial data transform in their models which is learned as part of a neural network, to transform the point cloud into a global canonical space. I see weaknesses in this approach as they are not guaranteed to perform completely invariant to input data transformations, but rather approximately. To combat this I propose to use local deterministic transformations which do not need to be learned. The novelty layer of this project builds upon Edge Convolutions and is thus dubbed DirEdgeConv, with the directional invariance in mind. This layer is slightly altered to introduce another layer by the name of DirSplineConv. These layers are assembled in a variety of models which are then benchmarked against the same tasks as its predecessor to invite a fair comparison. The results are not quite as good as state of the art results, however are still respectable. It is also my belief that the results can be improved by improving the learning rate and its scheduling. Another experiment in which ablation is performed on the novel layers shows that the layers  main concept indeed improves the overall results.

Abstract [sv]

Nyligen har ämnet geometrisk deep learning presenterat ett nytt sätt för maskininlärningsalgoritmer att arbeta med punktmolnsdata i dess råa form.Banbrytande arkitekturer som PointNet och många andra som byggt på dennes framgång framhåller vikten av invarians under inledande datatransformationer. Sådana transformationer inkluderar skiftning, skalning och rotation av punktmoln i ett tredimensionellt rum. Precis som vi önskar att klassifierande maskininlärningsalgoritmer lyckas identifiera en uppochnedvänd hund som en hund vill vi att våra geometriska deep learning-modeller framgångsrikt ska kunna hantera transformerade punktmoln. Därför använder många modeller en inledande datatransformation som tränas som en del av ett neuralt nätverk för att transformera punktmoln till ett globalt kanoniskt rum. Jag ser tillkortakommanden i detta tillgångavägssätt eftersom invariansen är inte fullständigt garanterad, den är snarare approximativ. För att motverka detta föreslår jag en lokal deterministisk transformation som inte måste läras från datan. Det nya lagret i det här projektet bygger på Edge Convolutions och döps därför till DirEdgeConv, namnet tar den riktningsmässiga invariansen i åtanke. Lagret ändras en aning för att introducera ett nytt lager vid namn DirSplineConv. Dessa lager sätts ihop i olika modeller som sedan jämförs med sina efterföljare på samma uppgifter för att ge en rättvis grund för att jämföra dem. Resultaten är inte lika bra som toppmoderna resultat men de är ändå tillfredsställande. Jag tror även resultaten kan förbättas genom att förbättra inlärningshastigheten och dess schemaläggning. I ett experiment där ablation genomförs på de nya lagren ser vi att lagrens huvudkoncept förbättrar resultaten överlag.

Place, publisher, year, edition, pages
2019.
Series
TRITA-SCI-GRU ; 2019:093
National Category
Probability Theory and Statistics
Identifiers
URN: urn:nbn:se:kth:diva-252573OAI: oai:DiVA.org:kth-252573DiVA, id: diva2:1320133
External cooperation
Cybercom
Subject / course
Mathematical Statistics
Educational program
Master of Science - Applied and Computational Mathematics
Supervisors
Examiners
Available from: 2019-06-04 Created: 2019-06-04 Last updated: 2019-06-04Bibliographically approved

Open Access in DiVA

fulltext(6823 kB)91 downloads
File information
File name FULLTEXT01.pdfFile size 6823 kBChecksum SHA-512
255c0b75c1325900ea86f851b2945bd7bca25db4306fc725d23c63a5da436dff8d86cc7f650cf320a87d112f49d2fca0c8701849b370777829161b4b08a8cdce
Type fulltextMimetype application/pdf

By organisation
Mathematical Statistics
Probability Theory and Statistics

Search outside of DiVA

GoogleGoogle Scholar
Total: 91 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 102 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf