Digitala Vetenskapliga Arkivet

Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Reinforcement Learning for Dexterity Transfer Between Manipulators
KTH, School of Electrical Engineering and Computer Science (EECS).
2019 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
Reinforcement Learning för överföring av fingerfärdighet mellan manipulatorer (Swedish)
Abstract [en]

Learning complex manipulation skills with robotic arms is a challenging problem in Reinforcement Learning. Training policies from scratch is often timeconsuming and normally infeasible when using real robots. Existing techniques solve this issue by leveraging human priors in the form of shaped rewards or demonstrations, but most ignore the potential of using other robots as demonstrators. In this work, we attempt to transfer complex manipulation skills between robots with different morphologies, so that knowledge that has already been acquired can be leveraged to achieve new tasks. We use a recently proposed method to learn a shared feature space between states of the different robots, and then exploit this representation to transfer skills. For this purpose, we introduce a new technique we call Translated Behavior Cloning, which combines Transfer Learning methods with model-free RL. The results show that transferring manipulation skills between a single arm manipulator and a dual-arm robot, despite the large differences between them, is indeed possible, although further research is needed to make the training process more data efficient for real systems.

Abstract [sv]

Att lära komplexa manipuleringsfärdigheter för robotarmar är ett utmanande problem inom Reinforcement Learning. Att träna en policy från grunden på en riktig robot är ofta tidskrävande och vanligtvis orimligt. Existerande tekniker löser detta genom mänskliga förkunskaper som utformade belöningar eller demonstrationer, men de flesta ignorerar potentialen i att använda andra robotar som demonstratörer. I detta arbete försöker vi överföra komplexa fingerfärdighetsförmågor mellan robotar med olika morfologier, så att kunskapen som redan har förskaffats kan användas för att uppnå nya uppgifter. Vi använder en nyligen föreslagen metod för att lära en delad attributrymd (feature space) mellan tillstånd av de olika robotarna, och utnyttjar denna representation för att överföra förmågor. För detta syfte introducerar vi en ny teknik som vi kallar Translated Behavior Cloning, som kombinerar lärandeöverföring (transfer learning) med model-free Reinforcement Learning. Resultaten visar att överföring av manipuleringsförmågor mellan en enarmad och tvåarmad robot, trots stora skillnader mellan dem, är möjlig även om ytterligare forskning behövs för att göra träningsprocessen mer data-effektiv för verkliga system.

Place, publisher, year, edition, pages
2019. , p. 56
Series
TRITA-EECS-EX ; 2019:704
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-266334OAI: oai:DiVA.org:kth-266334DiVA, id: diva2:1383140
Supervisors
Examiners
Available from: 2020-02-20 Created: 2020-01-07 Last updated: 2022-06-26Bibliographically approved

Open Access in DiVA

fulltext(1870 kB)654 downloads
File information
File name FULLTEXT01.pdfFile size 1870 kBChecksum SHA-512
2cebeca38b69940a50c1c52fcb76373abe3e402de7d6f3e41ef015caf9ccf1c3b7b90d4e1fdd4a01f3f9b9f897a5805fb624b8ca9c1c27146e2056b0ff63c260
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 656 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 480 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf