Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Automated cyber security compliance assessment
KTH, School of Electrical Engineering (EES).
2017 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

Companies and organizations seek to comply to various cybersecurity standards in order to improve their security levels, to followthe requirements of their customers or sometimes obliged by regulatorylaws.The compliance process rely on human assessors and could becomemore effective by automating a subset of the underlying tasksthat constitute it.This study is aimed at creating a software advisor that assessesan IT architecture for compliance to the NERC-CIP standard. Toachieve this a two step process was followed.At the first step specific NERC-CIP requirements were modeledand mapped using the SecuriCAD cyber security modeling tool.Then a software expert able to interpret and compare the Securi-CAD’s abstractions was created. Comparing the mapped rules withthe attributes of a modeled architecture the expert passes judgmenton the compliance status of the system. The second stage validated the advisor and measured its accuracy.That was achieved by conducting a Turing test. During the testanswers produced by the software advisor were compared to thoseof five human domain experts within cyber security for the same assessmenttask. The comparison was assigned to another domainexpert who evaluated the responses without being aware of theirorigin. The responses were graded and ranked from best to worst.The results show that the software expert was able to surpasshuman expertise for the given task and was ranked first along withanother human expert.Also the study contains a section that describes a method of extractingmetrics characterizing the NERC-CIP standard. This derivesfrom the combination of the modeled standard requirementsand the ability of the SecuriCAD tool to simulate cyber attacks andproduce probabilistic security metrics for a given architecture. Thatwas achieved by creating 50 random NERC-CIP compliant architecturesand extracting the average time that a successful adversaryneeds to compromise the system. The results show that half of the the successful attacks againstour compliant sample succeed on 23.19 days on average, while a5% of them succeed in 5.02 days on average.As indicated by the results software assessors can be as mucheffective as human assessors. They can help an organization toprepare for a scheduled assessment and assist human complianceexperts with their judgments. Finally the suggested method of extractingsecurity metrics could be a base for extending to other standardsand making comparisons among them. This would be anadded variable during the process of selecting which cyber securitystandard certification an organization should pursue.

Abstract [sv]

Företag och organisationer strävar efter att uppfylla olika cybersäkerhetsstandardermed mål att förbättra sina säkerhetsnivåer, attuppfylla kunders önskemål, eller då det krävs enligt lag.Efterlevnadsprocessen utförs av mänskliga bedömare och kangöras effektivare genom automatisering av en del underliggandeuppgifter som utgör den.Denna studie har som mål att skapa mjukvarurådgivare som bedömeren IT-arkitektur för efterlevnad av NERC-CIP-standard. För attuppnå detta följdes en tvåstegsprocess.Som första steg modellerades och mappades specifika NERCCIP-krav med hjälp av verktyget för modellering av cybersäkerhet,SecuriCAD. Sedan skapades en expertmjukvara med förmågan atttolka och jämföra SecuriCAD:s abstraktioner. Expertmjukvaran bedömersystemets efterlevnadsstatus via jämförelse av mappade regleroch den modellerade arkitekturens attributer. Som andra stegvaliderades programvaran och dess exakthet mättes. Detta uppnåddes via genomförande av Turingtest. Under testetjämfördes programvarans svar med svar från fem mänskliga områdesexperterpå cybersäkerhet i samma bedömningsuppgift. Jämförelsenöverläts till en annan områdesexpert som utvärderade svarenutan vetskap om deras ursprung. Svaren graderades och rangordnadesfrån bäst till sämst.Resultaten visar att expertprogrammet överträffade mänsklig expertisi given uppgift och tilldelades förstaplats tillsammans med enannan mänsklig expert.Studien innehåller också en sektion som beskriver metoden förextrahering av mätvärden som karaktäriserar NERC-CIP-standarden.Denna härrör från kombinationen av modellerade standardkrav ochverktyget SecuriCAD:s förmåga att simulera cyberattacker och produceraprobabilitiska säkerhetsmätvärden för en given arkitektur.Detta uppnåddes genom att skapa 50 slumpmässiga NERC-CIPefterlevandearkitekturer och extrahering av genomsnittlig tid en framgångsrikmotståndare behöver för att äventyra systemet.Resultaten visar att hälften av de lyckade attackerna mot vårtefterlevnadsexempel lyckades på 23,19 dagar i genomsnitt, och 5% av dem lyckades på 5,02 dagar i genomsnitt. Såsom indikeras av resultaten kan bedömningsmjukvaror ansesvara lika effektiva som mänskliga bedömare. De kan hjälpa en organisationatt förbereda för en planerad bedömning och hjälpa mänskligaefterlevnadsexperter med deras bedömningar. Slutligen kanden föreslagna metoden att extrahera säkerhetsmätvärden utgöraen grund för att förlängas till andra standarder och göra jämförelsermellan dessa. Detta vore en extra variabel under beslutsprocessenom vilken standardcertifikation för cybersäkerhet en organisationbör bedriva.

Place, publisher, year, edition, pages
2017.
Series
TRITA-EE, ISSN 1653-5146 ; 2016:202
National Category
Electrical Engineering, Electronic Engineering, Information Engineering
Identifiers
URN: urn:nbn:se:kth:diva-200950OAI: oai:DiVA.org:kth-200950DiVA, id: diva2:1072057
Available from: 2017-02-10 Created: 2017-02-07 Last updated: 2017-02-10Bibliographically approved

Open Access in DiVA

konstantinos konstantinidis(809 kB)176 downloads
File information
File name FULLTEXT01.pdfFile size 809 kBChecksum SHA-512
3b944b6216bff99c31d676f238f5002181e6d4b6e53276b99c410470a06db6d0d3f680d6c915cdc08a0dfacb6f920d38baedec77444e29595e2bfa00814f43d6
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering (EES)
Electrical Engineering, Electronic Engineering, Information Engineering

Search outside of DiVA

GoogleGoogle Scholar
Total: 176 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 951 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf