Change search
ReferencesLink to record
Permanent link

Direct link
A Multivariate Data Stream Anomaly Detection Framework
KTH, School of Electrical Engineering (EES).
2016 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

High speed stream anomaly detection is an important technology used in many industry applications such as monitoring system health, detecting financial fraud, monitoring customer's unusual behavior and so on. In those scenarios multivariate data arrives in high speed, and needs to be calculated in real-time. Since solutions for high speed multivariate stream anomaly detection are still under development, the objective of this thesis is introducing a framework for testing different anomaly detection algorithms.Multivariate anomaly detection, usually includes two major steps: point anomaly detection and stream anomaly detection. Point anomaly detection is used to transfer multivariate feature data into anomaly score according to the recent stream of data. The stream anomaly detectors are used to detect stream anomalies based on the recent anomaly scores generated from previous point anomaly detector. This thesis presents a flexible framework that allows the easy integration and evaluation of different  data sources, point and stream anomaly detection algorithms. To demonstrate the capabilities of the framework,  we consider different scenarios with generators of artificial data, real industry data sets and time series data, point anomaly detectors of PYISC, SVM and LOF, stream anomaly detectors of DDM, CUSUM and FCWM. The evaluation results show that for point anomaly detectors, PYISC and LOF perform well when the distributions of features are known, SVM performs well even when the distributions of features are not known. For the stream anomaly detectors, DDM has some possibilities to get false anomaly detection, CUSUM has some possibilities to get failed when the stream anomalies increase slowly, while FCWM performs best with very low possibilities to get failed.

Abstract [sv]

Höghastighet ström anomali detektion är en viktig teknik som används i många industriella tillämpningar såsom övervakningssystem för hälsa, upptäckande av ekonomiska bedrägerier, övervakning av kundernas ovanliga beteende och så vidare. I dessa scenarier kommer multivariat data i hög hastighet, och måste beräknas i realtid. Eftersom lösningar för höghastighet multivariat ström anomali detektion är fortfarande under utveckling, är syftet med denna avhandling att införa en ramverk för att testa olika anomali algoritmer. Multivariat anomali detektion har oftast två viktiga steg: att upptäcka punkt-avvikelser och att upptäcka ström-avvikelser.  Punkt- anomali detektorer används för att överföra multivariat data i anomali poäng enligt den senaste tidens dataström. Ström anomali detektorer används för att detektera ström avvikelser baserade på den senaste tidens anomali poäng genererade från föregående punkt anomali detektoren. Denna avhandling presenterar ett flexibelt ramverk som möjlig gör enkel integration och utvärdering av olika datakällor, punkt och ström anomali detektorer. För att demonstrera ramverkets kapabiliteteter, betraktar vi olika scenarier med  datageneratorer av konstgjorda data, verkliga industri data och tidsseriedata; punkt anomali detektorer  PYISC, SVM och Löf,  och ström anomali detektorer DDM, CUSUM och FCWM. Utvärderingsresultaten visar att för punkt anomali detektor har PYISC och LOF bra prestanda när datafördelningen är kända,  men SVM fungerar bra även när fördelningarna  inte är kända. För ström anomali detektor har DDM vissa sannolikhet att få falskt upptäcka avvikelser, och CUSUM vissa sannolikhet att misslycka när avvikelser ökar långsamt. FCWM fungerar bäst med mycket låga sannolikhet för misslyckande.

Place, publisher, year, edition, pages
2016. , 57 p.
Series
EES Examensarbete / Master Thesis, TRITA-EE 2016:106
Keyword [en]
Multivariate, Stream anomaly detection, PYISC, SVM, LOF, DDM, CUSUM, FCWM
Keyword [sv]
Multivariat, ström anomali detektion, PYISC, SVM, LOF, DDM, CUSUM, FCWM
National Category
Engineering and Technology
Identifiers
URN: urn:nbn:se:kth:diva-194202OAI: oai:DiVA.org:kth-194202DiVA: diva2:1038725
External cooperation
SICS
Examiners
Available from: 2016-10-19 Created: 2016-10-19 Last updated: 2016-11-15Bibliographically approved

Open Access in DiVA

fulltext(1137 kB)31 downloads
File information
File name FULLTEXT01.pdfFile size 1137 kBChecksum SHA-512
6df5f6a795bc883a43afdede736ac428de0cc63e0687126cbb8ba76332a4fdbe98c1a90ec591ff333410b78892e811ec72b4c35cb3f4e52bdc48a86fe709ecba
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering (EES)
Engineering and Technology

Search outside of DiVA

GoogleGoogle Scholar
Total: 31 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

Total: 14 hits
ReferencesLink to record
Permanent link

Direct link