Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Evaluation and Analysis of Supervised Learning Algorithms and Classifiers
Responsible organisation
2006 (English)Licentiate thesis, comprehensive summary (Other academic)Alternative title
Utvärdering och Analys av Övervakade Inlärningsalgoritmer och Klassificerare (Swedish)
Abstract [en]

The fundamental question studied in this thesis is how to evaluate and analyse supervised learning algorithms and classifiers. As a first step, we analyse current evaluation methods. Each method is described and categorised according to a number of properties. One conclusion of the analysis is that performance is often only measured in terms of accuracy, e.g., through cross-validation tests. However, some researchers have questioned the validity of using accuracy as the only performance metric. Also, the number of instances available for evaluation is usually very limited. In order to deal with these issues, measure functions have been suggested as a promising approach. However, a limitation of current measure functions is that they can only handle two-dimensional instance spaces. We present the design and implementation of a generalised multi-dimensional measure function and demonstrate its use through a set of experiments. The results indicate that there are cases for which measure functions may be able to capture aspects of performance that cannot be captured by cross-validation tests. Finally, we investigate the impact of learning algorithm parameter tuning. To accomplish this, we first define two quality attributes (sensitivity and classification performance) as well as two metrics for measuring each of the attributes. Using these metrics, a systematic comparison is made between four learning algorithms on eight data sets. The results indicate that parameter tuning is often more important than the choice of algorithm. Moreover, quantitative support is provided to the assertion that some algorithms are more robust than others with respect to parameter configuration. To sum up, the contributions of this thesis include; the definition and application of a formal framework which enables comparison and deeper understanding of evaluation methods from different fields of research, a survey of current evaluation methods, the implementation and analysis of a multi-dimensional measure function and the definition and analysis of quality attributes used to investigate the impact of learning algorithm parameter tuning.

Abstract [sv]

Den centrala frågan som studeras i denna uppsats är hur övervakade inlärningsalgoritmer och klassificerare ska utvärderas och analyseras. Som ett första steg analyserar vi existerande utvärderingsmetoder. Varje metod beskrivs och kategoriseras enligt ett antal egenskaper. En slutsats är att prestanda ofta mäts i form av korrekthet, exempelvis med korsvalidering. Några studier har emellertid ifrågasatt användandet av korrekthet som enda mått för prestanda. Dessutom är datamängden som är tillgänglig för utvärdering oftast begränsad. Användandet av mätfunktioner har givits som förslag för att hantera dessa problem. En begränsning med existerande mätfunktioner är att de bara kan hantera tvådimensionella instansrum. Vi presenterar en generaliserad flerdimensionell mätfunktion och demonstrerar användbarheten med ett experiment. Resultaten indikerar att det finns fall då mätfunktioner fånga andra aspekter av prestanda än korsvalideringstest. Slutligen undersöker vi effekten av parameterjustering. Detta görs genom att definiera två kvalitetsattribut (känslighet och klassificeringsprestanda) samt två mått för varje attribut. Dessa mått används för att utföra en systematisk jämförelse mellan fyra inlärningsalgoritmer över åtta datamängder. Resultaten indikerar att parameterjustering oftast är viktigare än val av algoritm. Kvantitativt stöd ges också åt påståendet att vissa algoritmer är mer robusta än andra vad gäller parameter konfiguration. Bidragen från denna uppsats innehåller; definition och användande av ett formellt ramverk som möjliggör jämförelse och djupare förståelse för utvärderingsmetoder från olika forskningsdiscipliner, en överblick av existerande utvärderingsmetoder, en implementation och analys av en flerdimensionell mätfunktion samt en definition och analys av kvalitetsattribut som används för att undersöka effekten av parameterjustering för inlärningsalgoritmer.

Place, publisher, year, edition, pages
Karlskrona: Blekinge Institute of Technology , 2006. , 80 p.
Series
Blekinge Institute of Technology Licentiate Dissertation Series, ISSN 1650-2140 ; 4
Keyword [en]
machine learning, evaluation, classification
National Category
Computer Science
Identifiers
URN: urn:nbn:se:bth-00332Local ID: oai:bth.se:forskinfoC655A0B1F9F88D16C125714C00355E5DISBN: 91-7295-083-8 (print)OAI: oai:DiVA.org:bth-00332DiVA: diva2:837441
Available from: 2012-09-18 Created: 2006-04-10 Last updated: 2015-06-30Bibliographically approved

Open Access in DiVA

fulltext(520 kB)997 downloads
File information
File name FULLTEXT01.pdfFile size 520 kBChecksum SHA-512
714de9b4937a8644a8ffd307555686ab9dab59734dd40ee51a87c869022994c1b1e485c6917cce92d8b4a102ab3cb64eac2f2f55e69720a0ceaa97b6613ba72f
Type fulltextMimetype application/pdf

Search in DiVA

By author/editor
Lavesson, Niklas
Computer Science

Search outside of DiVA

GoogleGoogle Scholar
Total: 997 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

isbn
urn-nbn

Altmetric score

isbn
urn-nbn
Total: 96 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf