Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Passive gesture recognition on unmodified smartphones using Wi-Fi RSSI
KTH, School of Computer Science and Communication (CSC), Robotics, perception and learning, RPL.
2017 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
Passiv gest-igenkänning för en standardutrustad smartphone med hjälpav Wi-Fi RSSI (Swedish)
Abstract [en]

The smartphone is becoming a common device carried by hundreds of millions of individual humans worldwide, and is used to accomplish a multitude of different tasks like basic communication, internet browsing, online shopping and fitness tracking. Limited by its small size and tight energy storage, the human-smartphone interface is largely bound to the smartphones small screens and simple keypads. This prohibits introducing new rich ways of interaction with smartphones.

 

The industry and research community are working extensively to find ways to enrich the human-smartphone interface by either seizing the existing smartphones resources like microphones, cameras and inertia sensors, or by introducing new specialized sensing capabilities into the smartphones like compact gesture sensing radar devices.

 

The prevalence of Radio Frequency (RF) signals and their limited power needs, led us towards investigating using RF signals received by smartphones to recognize gestures and activities around smartphones. This thesis introduces a solution for recognizing touch-less dynamic hand gestures from the Wi-Fi Received Signal Strength (RSS) received by the smartphone using a recurrent neural network (RNN) based probabilistic model. Unlike other Wi-Fi based gesture recognition solutions, the one introduced in this thesis does not require a change to the smartphone hardware or operating system, and performs the hand gesture recognition without interfering with the normal operation of other smartphone applications.

 

The developed hand gesture recognition solution achieved a mean accuracy of 78% detecting and classifying three hand gestures in an online setting involving different spatial and traffic scenarios between the smartphone and Wi-Fi access points (AP). Furthermore the characteristics of the developed solution were studied, and a set of improvements have been suggested for further future work.

Abstract [sv]

Smarta telefoner bärs idag av hundratals miljoner människor runt om i världen, och används för att utföra en mängd olika uppgifter, så som grundläggande kommunikation, internetsökning och online-inköp. På grund av begränsningar i storlek och energilagring är människa-telefon-gränssnitten dock i hög grad begränsade till de förhållandevis små skärmarna och enkla knappsatser.

 

Industrin och forskarsamhället arbetar för att hitta vägar för att förbättra och bredda gränssnitten genom att antingen använda befintliga resurser såsom mikrofoner, kameror och tröghetssensorer, eller genom att införa nya specialiserade sensorer i telefonerna, som t.ex. kompakta radarenheter för gestigenkänning.

 

Det begränsade strömbehovet hos radiofrekvenssignaler (RF) inspirerade oss till att undersöka om dessa kunde användas för att känna igen gester och aktiviteter i närheten av telefoner. Denna rapport presenterar en lösning för att känna igen gester med hjälp av ett s.k. recurrent neural network (RNN). Till skillnad från andra Wi-Fi-baserade lösningar kräver denna lösning inte en förändring av vare sig hårvara eller operativsystem, och ingenkänningen genomförs utan att inverka på den normala driften av andra applikationer på telefonen.

 

Den utvecklade lösningen når en genomsnittlig noggranhet på 78% för detektering och klassificering av tre olika handgester, i ett antal olika konfigurationer vad gäller telefon och Wi-Fi-sändare. Rapporten innehåller även en analys av flera olika egenskaper hos den föreslagna lösningen, samt förslag till vidare arbete.

Place, publisher, year, edition, pages
2017.
Keyword [en]
Wi-Fi, RSSI, gesture recognition, RNN, LSTM, neural network, deep learning
National Category
Computer Science
Identifiers
URN: urn:nbn:se:kth:diva-216390OAI: oai:DiVA.org:kth-216390DiVA: diva2:1150765
Educational program
Master of Science - Machine Learning
Supervisors
Examiners
Available from: 2017-10-30 Created: 2017-10-19 Last updated: 2017-10-30Bibliographically approved

Open Access in DiVA

fulltext(2566 kB)25 downloads
File information
File name FULLTEXT01.pdfFile size 2566 kBChecksum SHA-512
1377f3719de159256019c81df51c3bf2786c2898f35b43a7af622658074ad08396e235fbf8cd506f3dc149db2cbfbb1f568a1822132bf5fd139962f0233b73f9
Type fulltextMimetype application/pdf

By organisation
Robotics, perception and learning, RPL
Computer Science

Search outside of DiVA

GoogleGoogle Scholar
Total: 25 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 53 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf