Training blue teams to defend information technology (IT) infrastructure is crucial for preventing and mitigating cyberattacks against organizations. This training typically occurs during cyber defence exercises (CDXs), where red teams simulate various attack scenarios. To reduce reliance on manual red teams, these attacks can be automated using methods such as Boolean logic or machine learning (ML) models. The Swedish Defence Research Agency (FOI) has developed an automated red team emulation tool called Lore. It is used in CDXs to create attack scenarios against a virtual environment that simulates an organization’s IT environment. The outcomes of these scenarios, such as the number of compromised systems, types of actions executed, and the number of actions performed vary based on parameters such as action blacklisting/whitelisting, target environment, and system exclusions. Depending on exercise conditions such as purpose, number of participants, and budget, some outcomes may be more desirable than others. This thesis examines the desirability of various CDX scenarios under some conditions by analyzing survey responses from exercise leaders, red team members, and white team members. The survey included statistical data from 45 different scenarios executed in a virtual environment. The resulting dataset was used to train and evaluate four regression models to predict scenario desirability based on the outcomes and conditions. This study aimed to answer two research questions: (1) What types of red team scenarios are most desirable for CDXs given some exercise conditions? (2) Which regression models are most effective at predicting the desirability of these scenarios? The analysis revealed that desirable scenarios generally involved a higher number of compromised systems. However, the importance of factors such as the number of alerts from security information and event management (SIEM) tools and the number of actions performed by Lore that may impact the scenario desirability could not be established. Among the models tested, the random forest and elastic net regression models performed best according to the mean absolute error (MAE) metric, outperforming the multilayer perceptron (MLP) and support vector regression (SVR) models. Future studies should focus on training these or other models on more diverse and extensive datasets to improve the predictive power of desirable scenarios and in more detail identify the factors affecting scenario desirability.

Att träna blå lag att försvara informationsteknologi (IT)-infrastruktur är avgörande för att förhindra och mildra cyberattacker mot organisationer. Denna träning sker vanligtvis under cybersäkerhetsövningar (CDXs), där röda lag simulerar olika attackscenarier. För att minska beroendet av manuella röda lag kan dessa attacker automatiseras med metoder som boolesk logik eller maskininlärningsmetoder. Totalförsvarets forskningsinstitut (FOI) har utvecklat ett verktyg som heter Lore som automatiskt emulerar röda lag. Det används i CDXs för att skapa attackscenarier mot en virtuell miljö som simulerar en organisations IT-miljö. Utfallet av dessa scenarier, såsom antalet komprometterade system, typer av utförda aktioner och antalet utförda aktioner, varierar baserat på parametrar som svartlistning/vitlistning av aktioner, målmiljö och systemexkluderingar. Beroende på övningsvillkor, såsom syfte, antal deltagare och budget, kan vissa utfall vara mer önskvärda än andra. Denna uppsats undersöker önskvärdheten av olika CDX-scenarier under vissa förhållanden genom att analysera enkätresultat från övningsledare, röda lag- medlemmar och vita lag-medlemmar. Enkäten inkluderade statistiska data från 45 olika scenarier exekverade i en virtuell miljö. Den resulterande datamängden användes för att träna och utvärdera fyra regressionsmodeller för att förutsäga scenariernas önskvärdhet baserat på utfallen och villkoren. Studien syftade till att besvara två forskningsfrågor: (1) Vilka typer av röda lag-scenarion är mest önskvärda för CDXs givet vissa villkor? (2) Vilka regressionsmodeller är mest effektiva för att förutsäga önskvärdheten av dessa scenarion? Analysen visade att önskvärda scenarion generellt involverade ett högre antal komprometterade system. Däremot kunde betydelsen av faktorer såsom antalet larm från säkerhetsinformations- och händelsehantering (SIEM)-verktyg och antalet aktioner utförda av Lore som kan påverka scenariets önskvärdhet inte fastställas. Bland de testade modellerna presterade random forest och elastic net- regressionsmodellerna bäst enligt prestandametriken medelabsolutfelet (MAE) och överträffade multilayer perceptron (MLP) och stödvektorregression (SVR)-modellerna. Framtida studier bör fokusera på att träna dessa eller andra modeller på mer varierande och omfattande datamängder för att förbättra förutsägelsekraften för önskvärda scenarier och i mer detalj identifiera de faktorer som påverkar önskvärdhet av scenarion.