Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
In-Hand Manipulation of Objects with Unknown Shapes
KTH, School of Electrical Engineering and Computer Science (EECS), Robotics, Perception and Learning, RPL.ORCID iD: 0000-0002-9171-8768
KTH, School of Electrical Engineering and Computer Science (EECS), Robotics, Perception and Learning, RPL.ORCID iD: 0000-0002-3599-440X
KTH, School of Electrical Engineering and Computer Science (EECS), Robotics, Perception and Learning, RPL.ORCID iD: 0000-0003-2965-2953
(English)Manuscript (preprint) (Other academic)
Abstract [en]

This work addresses the problem of changing grasp configurations on objects with an unknown shape through in-hand manipulation. Our approach leverages shape priors,learned as deep generative models, to infer novel object shapesfrom partial visual sensing. The Dexterous Manipulation Graph method is extended to build upon incremental data and account for estimation uncertainty in searching a sequence of manipulation actions. We show that our approach successfully solves in-hand manipulation tasks with unknown objects, and demonstrate the validity of these solutions with robot experiments.

National Category
Computer Vision and Robotics (Autonomous Systems)
Identifiers
URN: urn:nbn:se:kth:diva-263044OAI: oai:DiVA.org:kth-263044DiVA, id: diva2:1366113
Note

QC 20191029

Available from: 2019-10-28 Created: 2019-10-28 Last updated: 2019-10-29Bibliographically approved
In thesis
1. Vision-Based In-Hand Manipulation with Limited Dexterity
Open this publication in new window or tab >>Vision-Based In-Hand Manipulation with Limited Dexterity
2019 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]

In-hand manipulation is an action that allows for changing the grasp on an object without the need for releasing it. This action is an important component in the manipulation process and helps solving many tasks. Human hands are dexterous instruments suitable for moving an object inside the hand. However, it is not common for robots to be equipped with dexterous hands due to many challenges in control and mechanical design. In fact, robots are frequently equipped with simple parallel grippers, robust but lacking dexterity. This thesis focuses on achieving in-hand manipulation with limited dexterity. The proposed solutions are based only on visual input, without the need for additional sensing capabilities in the robot's hand.

Extrinsic dexterity allows simple grippers to execute in-hand manipulation thanks to the exploitation of external supports. This thesis introduces new methods for solving in-hand manipulation using inertial forces, controlled friction and external pushes as additional supports to enhance the robot's manipulation capabilities. Pivoting is seen as a possible solution for simple grasp changes: two methods, which cope with inexact friction modeling, are reported, and pivoting is successfully integrated in an overall manipulation task. For large scale in-hand manipulation, the Dexterous Manipulation Graph is introduced as a novel representation of the object. This graph is a useful tool for planning how to change a certain grasp via in-hand manipulation. It can also be exploited to combine both in-hand manipulation and regrasping to augment the possibilities of adjusting the grasp. In addition, this method is extended to achieve in-hand manipulation even for objects with unknown shape. To execute the planned object motions within the gripper, dual-arm robots are exploited to enhance the poor dexterity of parallel grippers: the second arm is seen as an additional support that helps in pushing and holding the object to successfully adjust the grasp configuration.

This thesis presents examples of successful executions of tasks where in-hand manipulation is a fundamental step in the manipulation process, showing how the proposed methods are a viable solution for achieving in-hand manipulation with limited dexterity.

Abstract [sv]

In-hand manipulation gör det möjligt att ändra fattningen om ett objekt utan att behöva släppa det. Detta är en viktig komponent och gör det möjligt att lösa många uppgifter.Den mänskliga händen är ett flexibelt instrument som är lämpligt för att flytta föremål inuti handen. Det är dock inte vanligt att robotar är utrustade med lika flexibla händer på grund av utmaningar inom reglerteknik och design av mekaniska system. I själva verket är robotar ofta utrustade med enkla parallel gripper, som är robusta men saknar finmotorik. Denna avhandling fokuserar på att uppnå in-hand manipulation med begränsad finmotorik. De föreslagna lösningarna baseras endast på visuell perception, utan behov av ytterligare sensorer i robotens hand.

Extrinsic dexterity (extrinsisk finmotorik) gör att enkla robothänder kan utföra in-hand manipulation tack vare utnyttjandet av externa stöd. Denna avhandling introducerar nya metoder för att lösa in-hand manipulation med tröghetskrafter, kontrollerad friktion och yttre tryck som ytterligare stöd för att förbättra robotens manipuleringsförmåga. Pivoting ses som en möjlig lösning för enkla greppförändringar: två metoder som hanterar inexakt friktionsmodellering presenteras samt som gungning är framgångsrikt integrerats i en fullständig manipuleringsuppgift. För storskalig in-hand manipulation introduceras Dexterous Manipulation Graph som en ny representation av objektet. Denna graf är ett användbart verktyg för att planera ändring av grepp via in-hand manipulation. Det kan också utnyttjas för att kombinera både in-hand manipulation och regrasping för att öka möjligheterna att justera greppet. Dessutom utvidgas denna metod för att uppnå in-hand manipulation även för föremål med okänd form. För att utföra de planerade objektrörelserna i robothanden utnyttjas dubbelarmade robotar för att förbättra den dåliga färdigheten hos parallel gripper: den andra armen ses som ett ytterligare stöd som hjälper till att skjuta och hålla objektet för att framgångsrikt justera greppkonfigurationen.

Denna avhandling presenterar exempel på framgångsrika utföranden av uppgifter där manuell manipulation är ett grundläggande steg i manipuleringsprocessen och visar hur de föreslagna metoderna är en rimlig och effektiv lösning för att uppnå handmanipulation med begränsad finmotorik.

Place, publisher, year, edition, pages
KTH Royal Institute of Technology, 2019
Series
TRITA-EECS-AVL ; 2019:74
National Category
Computer Vision and Robotics (Autonomous Systems)
Identifiers
urn:nbn:se:kth:diva-263051 (URN)978-91-7873-332-3 (ISBN)
Public defence
2019-11-25, Kollegiesalen, Stockholm, 10:00 (English)
Opponent
Supervisors
Note

QC 20191105

Available from: 2019-11-05 Created: 2019-10-28 Last updated: 2019-11-05Bibliographically approved

Open Access in DiVA

fulltext(375 kB)14 downloads
File information
File name FULLTEXT01.pdfFile size 375 kBChecksum SHA-512
3bd2418c07894444bb8b8f89980ec69059a3afb8081f364bcc0bd02cdd168e0a38a9401700e1b92408610216281ee7ab4077ddf2115f9427280e17a4401b85f2
Type fulltextMimetype application/pdf

Search in DiVA

By author/editor
Cruciani, SilviaHang, YinKragic, Danica
By organisation
Robotics, Perception and Learning, RPL
Computer Vision and Robotics (Autonomous Systems)

Search outside of DiVA

GoogleGoogle Scholar
Total: 14 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 142 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf