Reinforcement learning (RL) has shown potential in numerous telecommunications applications, but its application in live Radio Access Networks (RANs) is hindered by challenges like interpreting agent behavior and potential negative impacts from suboptimal actions. Moreover, there is an ambition to incorporate user-defined intents into managing dynamic RAN environments in line with the intent-based networking paradigm. Intents are declarative, high-level operational goals that operators want to achieve without specifying how to achieve them, such as “minimize packet drop rate in the network”. To address these challenges, this thesis explored how intent formulation impacts RL agent behavior. The data was collected from a RAN simulator featuring adaptable control services capable of adding or removing resources in the network. Offline RL was used to train the agents, and the reward functions were designed based on five user-defined intents. The intents ranged from focusing on minimizing cost to minimizing drop rate, with a balanced intent in the middle and others falling between these extremes. By incorporating intents into the reward structure, the learning process was guided towards actions that satisfy the specified objectives. The results revealed differences in action distributions where cost-centric intents mainly selected actions removing instances of RAN services, whereas drop rate-focused intents chose to add instances, but to a lesser degree. Analysis using Kernel SHAP showed consistent feature importance across policies, specifically that the number of instances running per service had the highest feature importance, followed by CPU usage and packet metrics, across all intents. Importantly, the study found that agent actions do not always align with user intentions, highlighting the need for careful intent-to-reward mapping.

Förstärkningsinlärning (Reinforcement Learning) har visat lovande resultat i många telekommunikationstillämpningar, men dess praktiska implementering i Radio Access Networks (RANs) hindras av faktorer som svårigheter att förstå förstärkningsinlärningsagenters beteenden samt risken för negativa konsekvenser av suboptimala handlingar. Dessutom finns det en ambition att använda intentioner (intents) i styrning av RANs, i linje med paradigmet för intentionsbaserade nätverk (Intent-based Networks). Intentioner är deklarativa mål som operatörer vill uppnå utan att specificera hur de ska uppnås, till exempel “minimera paketförlust i nätverket”. För att hantera dessa utmaningar undersökte denna studie hur formuleringen av intentioner påverkar beteendet hos RL-agenter. Data samlades in från en RAN-simulator med justerbara kontrolltjänster som kan lägga till eller ta bort resurser i nätverket. Offline förstärkningsinlärning användes för att träna agenterna och belöningsfunktionerna utformades baserat på fem intentioner. Intentionerna sträckte sig från att fokusera på att minimera kostnader till att minimera paketförlust, med en balanserad intention i mitten och andra som föll mellan dessa ytterligheter. Genom att integrera intentioner i belöningsstrukturen påverkades inlärningsprocessen att välja handlingar som ledde till att uppfylla intentionerna. Resultaten visade skillnader i fördelningar av handlingar för olika intentioner, där kostnadsfokuserade intentioner främst valde handlingar som tog bort instanser av RAN-tjänster, medan intentioner som fokuserade på paketförlust valde att lägga till instanser, men i mindre utsträckning. Analys med Kernel SHAP visade konsekvent att samma features var viktiga för samtliga intentioner, specifikt att antalet instanser per RAN-tjänst hade högst feature importance, följt av CPU-användning och paketrelaterade mätvärden, för alla intentioner. Studien fann att agenters handlingar inte alltid stämde överens med användarintentioner, vilket betonar vikten av noggrann mappning mellan intention och belöning.