The transformer architecture has revolutionized the field of sequential processing within AI. It has been widely adopted in fields such as Natural Language Process- ing (NLP) and Computer Vision (CV) due to their ability to capture long-range dependencies and contextual information through attention mechanism. This capability opens up new possibilities for their application in Reinforcement Learn- ing (RL), particularly for tasks that can be modeled as sequence learning problems. In RL, transformers can enhance decision-making by understanding and leveraging temporal dependencies. As models like transformers grow complex, the need to meet the AI Act’s transparency requirement and validate that the models are performing correctly is also critical. This thesis explores the applicability and explainability of the transformer architecture in RL for autonomous coordination in mobile networks. For the applicability, the Decision Transformer (DT) is applied and evaluated in a mo- bile network setup for a specific use case, that is autonomous coordination. By mod- eling RL as a sequence learning problem, the DT architecture is used to generate a policy. The findings reveal that even sub-optimal trajectories can generate a policy comparable to those trained through conventional online methods. The study shows the advantages of using DT and the relationship between the generated policies with the quality of the trajectories used for training. It also identifies limitations in stochas- tic environments where DT does not fully leverage temporal dependencies. For the explainability of DT, two different approaches were used. Firstly, the intrinsic explainability methods, which are based on the internal attention mechanism of the transformer are used. They revealed some useful information about the dynamics of the environment and the temporal dependencies for our use case. Secondly, post-hoc methods were used to perform token-level attribution and then feature-level attribution by extracting features from the state tokens. This work presents a detailed analysis and comparison of both methods, including their working details, limitations, types of explanations drawn from them, and their evaluation.

Transformatorarkitekturen har revolutionerat området för sekventiell bearbetning inom artificiell intelligens. Den har använts mycket inom områden som naturlig språkbehandling och datorseende tack vare dess förmåga att fånga långväga beroen- den och kontextuell information genom uppmärksamhetsmekanismen. Denna kapabilitet öppnar nya möjligheter för deras tillämpning inom förstärkningsinlärning, särskilt för uppgifter som kan modelleras som sekvensinlärningsproblem. Inom förstärkningsinlärning kan transformatorer förbättra beslutsfattandet genom att förstå och utnyttja tidsberoenden. När modeller som transformatorer blir komplexa, är det också viktigt att uppfylla AI-lagens transparenskrav och verifiera att modellerna fungerar korrekt. Denna avhandling undersöker transformatorarkitekturens tillämp- lighet och förklarbarhet inom förstärkningsinlärning för autonom koordinering i mobilnät. För tillämpligheten används och utvärderas beslutstransformatorn i en mobilnätsmiljö för ett specifikt användningsfall, nämligen autonom koordinering. Genom att mod- ellera förstärkningsinlärning som ett sekvensinlärningsproblem används beslutstrans- formatorns arkitektur för att generera en policy. Resultaten visar att även suboptimala banor kan generera en policy som är jämförbar med de som tränats genom konven- tionella online-metoder. Studien visar fördelarna med att använda beslutstransforma- torn och sambandet mellan de genererade policyerna och kvaliteten på de banor som används för träning. Den identifierar också begränsningar i stokastiska miljöer där beslutstransformatorn inte fullt ut utnyttjar tidsberoenden. För förklarbarheten av beslutstransformatorn användes två olika tillvägagångssätt. Först användes de inneboende förklarbarhetsmetoderna, som är baserade på transformatorns interna uppmärksamhetsmekanism. De avslöjade viss användbar information om miljöns dynamik och tidsberoenden för vårt användningsfall. Därefter användes post-hoc-metoder för att utföra token-nivå attribution och sedan funktion-nivå attribution genom att extrahera funktioner från statustokens. Detta arbete presenterar en detaljerad analys och jämförelse av båda metoderna, inklusive deras arbetsdetaljer, begränsningar, typer av förklaringar som dragits från dem och deras utvärdering.