Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
AI in Simulated 3D Environments: Application to Cyber-Physical systems
KTH, School of Electrical Engineering and Computer Science (EECS).
2019 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
AI i simulerade 3D-miljöer : Tillämpningar på cyber-fysiska system (Swedish)
Abstract [en]

Over the past several years, UAVs (unmanned aerial vehicles) and autonomous systems in general, have become hot topics, both in academia and in industry. Indeed, the opportunities for the application of such technologies are vast, with the military and the infrastructure industry being the two most eminent cases.

Up until recently, autonomous systems showed quite little flexibility, their actions originating in well-defined programs that executed and replicated a given task, without much ability to adapt to new conditions in the surrounding environment. However, recent advances in AI and Machine Learning have made it possible to train computer algorithms with unprecedented effectiveness, which opened the door to having cyber-physical systems that can show intelligent behaviour and decision-making capabilities.

Using simulated environments, one is now able to train such systems to exhibit decent performance in tasks whose complexity stumped state-of-the-art algorithms less than a decade ago. An approach that has proved extremely successful is Reinforcement Learning (RL). In this thesis, we used it (along with other AI techniques) to train a virtual flying drone to perform two different tasks. The first one consists in having the drone fly towards a predefined object, no matter where it is placed. The second one is to have it fly in a manner that would allow for the exploration of an unknown environment. We were able to combine both tasks: to find and head towards a specific target within an unknown environment, by using only the relative position of the drone to its taking off point and its camera, therefore without any environment specific information. After a process of trial and error, we developed a framework for exploration on a plane, excluding the movement on the yaw axis. In order to perform such tasks with a deep Q network model we had to retrieve a depth image, the relative position of the drone and a segmented image.

The results presented herein demonstrate that a drone can be trained to be reasonably performant in the aforementioned tasks. It was achieved up to 81% accuracy on an unknown test environment for the first task while achieving 98% accuracy for the training environment on the same task. It holds the promise for doing the same with other cyber-physical systems and for more complex tasks.

Abstract [sv]

Under de senaste åren har obemannade flygplan och autonoma system i allmänhet blivit heta ämnen, både inom akademin och industrin. Faktum är att möjligheterna till tillämpning av sådan teknik är stora, med militär- och infrastrukturindustrin som de två mest framträdande fallen.

Fram till nyligen medförde autonoma system föga flexibilitet då deras handlingar härrör från väldefinierade program som utför givna, väl specificerade uppgifter, utan större förmåga att anpassa sig till nya förhållanden i omgivningen. Nya framsteg inom AI och Machine Learning har däremot gjort det möjligt att träna datoralgoritmer med oöverträffad effektivitet, vilket öppnade dörren för att ha cyber-fysiska system som kan uppvisa intelligent beteenden och beslutsfattande förmågor.

Med hjälp av simulerade miljöer kan man nu träna sådana system för att uppvisa acceptabel prestanda i uppgifter vars komplexitet förbryllade toppmoderna algoritmer för mindre än ett decennium sedan. Ett tillvägagångssätt som har visat sig vara mycket framgångsrikt är Reinforcement Learning (RL). I detta examensarbete använde vi denna metod (tillsammans med andra AI-tekniker) för att ”lära” en virtuell flygande drönare att utföra två olika uppgifter. Den första uppgiften bestod av att få drönaren att flyga mot ett fördefinierat objekt, oavsett var objektet är placerat. Den andra uppgiften innebar att få den att flyga på ett sätt som skulle möjliggöra utforskning av en okänd miljö. Vi kunde kombinera båda uppgifterna: att hitta och leda mot ett specifikt mål inom en okänd miljö, genom att bara använda drönarens relativa position i förhållande till dess startpunkt och dess kamera, därför utan någon miljöspecifik information. Efter en försöksprocess med ett flertal svårigheter utvecklade vi ett ramverk för prospektering på ett plan, med undantag av rörelsen på yaw-axeln. För att kunna utföra sådana uppgifter med en djup Q-nätverksmodell behövde vi hämta en djupbild, drönarens relativa position och en segmenterad bild.

Resultaten som presenteras i denna rapport visar att en drönare kan utvecklas för att bli mer ”intelligent” avseende rimlig prestanda för att utföra de ovan nämnda uppgifterna. Vi uppnådde upp till 81% noggrannhet i en okänd testmiljö för en viss uppgift, samtidigt som vi uppnådde 98% noggrannhet för träningsmiljön på samma uppgift. Det ger hopp om att det i framtiden kommer vara möjligt att uppnå liknande fenomen med andra cyber-fysiska system och för mer komplexa uppgifter.

Place, publisher, year, edition, pages
2019. , p. 52
Series
TRITA-EECS-EX ; 2019:82
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-251318OAI: oai:DiVA.org:kth-251318DiVA, id: diva2:1315088
Educational program
Master of Science in Engineering - Computer Science and Technology
Supervisors
Examiners
Available from: 2019-05-15 Created: 2019-05-10 Last updated: 2019-05-15Bibliographically approved

Open Access in DiVA

fulltext(12391 kB)26 downloads
File information
File name FULLTEXT01.pdfFile size 12391 kBChecksum SHA-512
a1aec9dc47caab284f21665f560ca0be9658a4cd3facccb5793fe63e52759ac0184065bb233526aaa73b66a4df845e7745ba793315755eeba197d7567540b1a4
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 26 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 68 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf