Evaluating methods for grouping and comparing crash dumps
2019 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Utvärdering av metoder för att gruppera och jämföra krashdumpar (Swedish)
Abstract [en]
Observations suggest that a high percentage of all reported software errors are reoccurrences. In certain cases even as high as 75%. This high percentage of reoccurrences means that companies are wasting hours manually rediagnosing errors that have already been diagnosed. The goal of this thesis was to eliminate or limit cases where errors have to be re-diagnosed through the use of automated grouping of crash dumps.
In this study we constructed a series of tests. We evaluate both pre-existing methods as well as our new proposed methods for comparing and matching crash dumps. A set of known errors were used as basis for measuring the matching precision and grouping ability of each method. Our results show a large variation in accuracy between methods and that generally, the more accurate a method is, the less it offers in terms of grouping ability. With an accuracy ranging from 50% to 90% and a reduction in manual diagnosis by up to 90%, we have shown that through automatic grouping of crash dumps we can accurately identify reoccurrences and reduce manual diagnosis.
Abstract [sv]
Målet med denna rapport var att undersöka metoder för gruppering av krashdumpar. Rapporter inom ämnet har visat att upp till 75% av rapporterade buggar kan vara upprepade förekomster av samma bug. Syftet har därför varit att reducera behovet av manuell diagnostik genom att gruppera krashdumpar med samma felkälla.
I vår studie konstruerade vi tester för att objektivt kunna jämföra och utvärderade de olika metoderna. Vi utvärderade redan existerande grupperingsmetoder och metoder som vi föreslagit. Testerna utvärderade grupperingmetodernas precision samt deras grupperingsförmåga. Utvärderingen visade på storvariation i precision mellan metoderna men också en korrelation mellan grupperingsförmåga och precision. Observationen var att metoder med stor precision har en dålig grupperingsförmåga. Våra resultat visar att det är möjligt att reducera upp till 90% av det manuella felsökningsarbetet med en precision i intervallet 50-90% beroende på metodval.
Place, publisher, year, edition, pages
2019. , p. 59
Series
TRITA-EECS-EX ; 2019:22
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-257489OAI: oai:DiVA.org:kth-257489DiVA, id: diva2:1347216
Educational program
Master of Science in Engineering - Computer Science and Technology
Supervisors
Examiners
2019-08-302019-08-302022-06-26