Tuning the downward tilt angle of base stations in cellular networks is an optimization problem which is an effective way of improving the Quality of Service for users in networks. In the past decade, significant advancements in machine learning, particularly in reinforcement learning (RL), have been widely utilized for tilt optimization research. Several authors, through independent studies, have concluded that reinforcement learning with deep Q-networks (DQN) is more effective in enhancing Quality of Service (QoS) compared to pre-DQN methods. Previous research in tilt optimization has relied on simulators that cannot consider the impact of moving users in a real world environment. I.e the simulators have either had static users with a 3d-model consisting of building or other objects, or have had moving users in a mathematically modeled world which uses statistical functions to estimate 3dspatial correlations. However, recent simulator advancements at Ericsson enable us to address the optimization problem with moving users in a digital twin of a city or other  real world environment. We compare the results of using a multi-agent reinforcement learning (MARL) DQN algorithm to using a modified version of a DQN algorithm reinforcement learning algorithm and a single agent. The results in this thesis show improvements in the QoS after extensive training, and we give suggestions for potential future work to be done with the methods presented.

Att styra den vertikala lutningen på basstationer i mobilnät är ett effektivt sätt att förbättra användarnas prestanda i nätverket. Stora framsteg inom maskininlärning, och sprcifikt inom RL, under det senaste decenniet har använts omfattande för att studetera tilt-optimering. Flertalet författare har i oberoende studier kommit fram till att RL med DQN är effektivare för att förbättra QoS än andra metoder som använts tidigare. Tidigare studier inom ämnet har antingen använt en simulator med stillastående användare eller med rörliga användare som existerar i en teorietisk motel med statistiska funktioner för att approximera 3d-spatiella korrelationer, varken av dessa kan ta hänsyn till effekten av rörliga användare i en verklig miljö. Däremot, med nya utvecklingar av simulatorer på Ericsson kommer vi under det här arbetet att kunna studera optimeringsproblemet med en ny simulator som har rörliga användare i en digital tvilling av en stad eller annan verklig miljö. Vi jämför resultaten av att använda en MARL-DQN algorithm jämfört med en modifierad variant av DQN med en agent. Vi har åstakommit förbättringar i användarprestanda efter lång träning, och vi ger förslag till potentiella framtida arbeten som kan utföras med metoderna som används i det här arbetet.