This thesis investigates the effectiveness and realism of automated Advanced Persistent Threat (APT) emulation in cybersecurity training using the red team automation tool Lore as a case study. With increasing complexity in cybersecurity threats, realistic threat emulation tools offer an opportunity to improve defense preparedness. The research focuses on adapting Lore to simulate real-world APT behaviors by integrating a detailed emulation plan based on the tactics, techniques, and procedures (TTPs) of APT29, leveraging the MITRE ATT&CK framework. Through a series of controlled experiments in a simulated environment, this study assesses the feasibility of implementing these TTPs in Lore and evaluates the realism of the emulations based on expert feedback. The implementation feasibility is measured by assessing the percentage of successfully executed steps from the emulation plan and the accuracy of the implemented TTPs in replicating real-world attacker behaviors. Realism is further evaluated through expert interviews, where cybersecurity professionals provide qualitative ratings on the fidelity and educational value of the simulations. The findings highlight the challenges in translating APT profiles into automated tools and reveal that, while Lore demonstrates high configurability, achieving high-fidelity emulation requires significant manual customization. The study suggests that improved adaptability in automated tools could enhance their relevance in dynamic cybersecurity training environments, offering insights for further research on automation and emulation accuracy.

Denna avhandling undersöker effektiviteten och realismen i automatiserad emulering av Advanced Persistent Threats (APT) inom cybersäkerhetsutbild- ning med det automatiserade verktyget Lore som fallstudie. Med den ökande komplexiteten hos cybersäkerhetshot skapar realistiska emuleringsverktyg möjligheter att stärka försvarsberedskapen. Studien fokuserar på att anpassa Lore för att simulera verkliga APT-beteenden genom att integrera en detaljerad emuleringsplan baserad på APT29s taktik, tekniker och procedurer (TTP), i enlighet med MITRE ATT&CK-ramverket. Genom en serie kontrollerade experiment i en simulerad miljö utvärderar studien möjligheterna att implementera dessa TTP i Lore och bedömer emule- ringarnas realism utifrån expertutlåtanden. Implementeringsmöjligheten mäts genom att bedöma andelen framgångsrikt utförda steg från emuleringsplanen och noggrannheten hos de implementerade TTP:erna för att replikera verkliga angriparbeteenden. Realism utvärderas ytterligare genom expertintervjuer, där cybersäkerhetsproffs ger kvalitativa betyg om simuleringarnas trohet och pedagogiska värde. Resultaten belyser utmaningarna i att överföra APT-profiler till automatiserade verktyg och visar att även om Lore uppvisar hög konfigurerbarhet, krävs betydande manuella anpassningar för att uppnå en hög nivå av emuleringsfidelitet. Studien pekar på att förbättrad anpassningsförmåga i automatiserade verktyg kan öka deras relevans i dynamiska cybersäkerhetsmiljöer, vilket öppnar för vidare forskning om automation och emuleringsprecision.