With the introduction of the Internet of Things (IoT) and 5G cellular networks, edge computing will substantially alleviate the quality of service shortcomings of cloud computing. With the advancements in edge computing, machine learning (ML) has performed a significant role in analyzing the data produced by IoT devices. Such advancements have mainly enabled ML proliferation in distributed optimization algorithms. These algorithms aim to improve training and testing performance for prediction and inference tasks, such as image classification. However, state-of-the-art ML algorithms demand massive communication and computation resources that are not readily available on wireless devices. Accordingly, a significant need is to extend ML algorithms to wireless communication scenarios to cope with the resource limitations of the devices and the networks. 

Federated learning (FL) is one of the most prominent algorithms with data distributed across devices. FL reduces communication overhead by avoiding data exchange between wireless devices and the server. Instead, each wireless device executes some local computations and communicates the local parameters to the server using wireless communications. Accordingly, every communication iteration of FL experiences costs such as computation, latency, communication resource utilization, bandwidth, and energy. Since the devices' communication and computation resources are limited, it may hinder completing the training of the FL due to the resource shortage. The main goal of this thesis is to develop cost-efficient approaches to alleviate the resource constraints of devices in FL training.

In the first chapter of the thesis, we overview ML and discuss the relevant communication and computation efficient works for training FL models. Next, a comprehensive literature review of cost efficient FL methods is conducted, and the limitations of existing literature in this area are identified. We then present the central focus of our research, which is a causal approach that eliminates the need for future FL information in the design of communication and computation efficient FL. Finally, we summarize the key contributions of each paper within the thesis.

In the second chapter, the thesis presents the articles on which it is based in their original format of publication or submission. A multi-objective optimization problem, incorporating FL loss and iteration cost functions, is proposed where communication between devices and the server is regulated by the slotted-ALOHA wireless protocol. The effect of contention level in the CSMA/CA on the causal solution of the proposed optimization is also investigated. Furthermore, the multi-objective optimization problem is extended to cover general scenarios in wireless communication, including convex and non-convex loss functions. Novel results are compared with well-known communication-efficient methods, such as the lazily aggregated quantized gradients (LAQ), to further improve the communication efficiency in FL over wireless networks.

Med introduktionen av Internet of Things~(IoT) och 5G~cellulära nätverk, kommer edge computing avsevärt att lindra bristerna på tjänstekvaliteten hos molnberäkningar. Med framstegen inom edge computing har maskininlärning~(ML) spelat en betydande roll i att analysera data som produceras av IoT-enheter. Sådana framsteg har huvudsakligen möjliggjort ML-proliferation i distribuerade optimeringsalgoritmer. Dessa algoritmer syftar till att förbättra tränings- och testprestanda för förutsägelse- och slutledningsuppgifter, såsom bildklassificering. Men de senaste ML-algoritmerna kräver enorma kommunikations- och beräkningsresurser som inte är lätt tillgängliga på trådlösa enheter. Följaktligen är ett betydande behov att utöka ML-algoritmer till scenarier för trådlös kommunikation för att klara av resursbegränsningarna hos enheterna och nätverken.

Federated learning~(FL) är en av de mest framträdande algoritmerna med data fördelade över enheter. FL minskar kommunikationskostnader genom att undvika datautbyte mellan trådlösa enheter och servern. Istället utför varje trådlös enhet några lokala beräkningar och kommunicerar de lokala parametrarna till servern med hjälp av trådlös kommunikation. Följaktligen upplever varje kommunikationsiteration av FL kostnader som beräkning, latens, kommunikationsresursanvändning, bandbredd och energi. Eftersom enheternas kommunikations- och beräkningsresurser är begränsade kan det på grund av resursbristen hindra att fullfölja utbildningen av FL. Huvudmålet med denna avhandling är att utveckla kostnadseffektiva metoder för att lindra resursbegränsningarna för enheter i FL-träning.

I det första kapitlet av avhandlingen överblickar vi ML och diskuterar relevanta kommunikations- och beräkningseffektiva arbeten för att träna FL-modeller. Därefter genomförs en omfattande litteraturgenomgång av kostnadseffektiva FL-metoder, och begränsningarna för befintlig litteratur inom detta område identifieras. Vi presenterar sedan det centrala fokuset i vår forskning, vilket är ett kausalt synsätt som eliminerar behovet av framtida FL-information vid utformning av kommunikations- och beräkningseffektiv FL. Slutligen sammanfattar vi de viktigaste bidragen från varje artikel i avhandlingen.

I det andra kapitlet presenterar avhandlingen de artiklar som den bygger på i deras ursprungliga publicerings- eller inlämningsformat. Ett multi-objektiv optimeringsproblem, som inkluderar FL-förlust- och iterationskostnadsfunktioner, föreslås där det trådlösa ALOHA-protokollet med slitsar reglerar kommunikationen mellan enheter och servern. Effekten av konfliktnivån i CSMA/CA på den kausala lösningen av den föreslagna optimeringen undersöks också. Dessutom utökas problemet med optimering av flera mål till att täcka allmänna scenarier inom trådlös kommunikation, inklusive konvexa och icke-konvexa förlustfunktioner. Nya resultat jämförs med välkända kommunikationseffektiva metoder som LAQ för att ytterligare förbättra kommunikationseffektiviteten i FL över trådlösa nätverk.

Med introduktionen av Internet of Things~(IoT) och 5G~cellulära nätverk, kommer edge computing avsevärt att lindra bristerna på tjänstekvaliteten hos molnberäkningar. Med framstegen inom edge computing har maskininlärning~(ML) spelat en betydande roll i att analysera data som produceras av IoT-enheter. Sådana framsteg har huvudsakligen möjliggjort ML-proliferation i distribuerade optimeringsalgoritmer. Dessa algoritmer syftar till att förbättra tränings- och testprestanda för förutsägelse- och slutledningsuppgifter, såsom bildklassificering. Men de senaste ML-algoritmerna kräver enorma kommunikations- och beräkningsresurser som inte är lätt tillgängliga på trådlösa enheter. Följaktligen är ett betydande behov att utöka ML-algoritmer till scenarier för trådlös kommunikation för att klara av resursbegränsningarna hos enheterna och nätverken.

Federated learning~(FL) är en av de mest framträdande algoritmerna med data fördelade över enheter. FL minskar kommunikationskostnader genom att undvika datautbyte mellan trådlösa enheter och servern. Istället utför varje trådlös enhet några lokala beräkningar och kommunicerar de lokala parametrarna till servern med hjälp av trådlös kommunikation. Följaktligen upplever varje kommunikationsiteration av FL kostnader som beräkning, latens, kommunikationsresursanvändning, bandbredd och energi. Eftersom enheternas kommunikations- och beräkningsresurser är begränsade kan det på grund av resursbristen hindra att fullfölja utbildningen av FL. Huvudmålet med denna avhandling är att utveckla kostnadseffektiva metoder för att lindra resursbegränsningarna för enheter i FL-träning.

I det första kapitlet av avhandlingen överblickar vi ML och diskuterar relevanta kommunikations- och beräkningseffektiva arbeten för att träna FL-modeller. Därefter genomförs en omfattande litteraturgenomgång av kostnadseffektiva FL-metoder, och begränsningarna för befintlig litteratur inom detta område identifieras. Vi presenterar sedan det centrala fokuset i vår forskning, vilket är ett kausalt synsätt som eliminerar behovet av framtida FL-information vid utformning av kommunikations- och beräkningseffektiv FL. Slutligen sammanfattar vi de viktigaste bidragen från varje artikel i avhandlingen.

I det andra kapitlet presenterar avhandlingen de artiklar som den bygger på i deras ursprungliga publicerings- eller inlämningsformat. Ett multi-objektiv optimeringsproblem, som inkluderar FL-förlust- och iterationskostnadsfunktioner, föreslås där det trådlösa ALOHA-protokollet med slitsar reglerar kommunikationen mellan enheter och servern. Effekten av konfliktnivån i CSMA/CA på den kausala lösningen av den föreslagna optimeringen undersöks också. Dessutom utökas problemet med optimering av flera mål till att täcka allmänna scenarier inom trådlös kommunikation, inklusive konvexa och icke-konvexa förlustfunktioner. Nya resultat jämförs med välkända kommunikationseffektiva metoder som LAQ för att ytterligare förbättra kommunikationseffektiviteten i FL över trådlösa nätverk.

With the rise of the Internet of Things (IoT) and 5G networks, edge computing addresses critical limitations in cloud computing’s quality of service . Machine learning (ML) has become essential in processing IoT-generated data at the edge, primarily through distributed optimization algorithms that support predictive tasks. However, state-of-the-art ML models demand substantial computational and communication resources, often exceeding the capabilities of wireless devices. Moreover, training these models typically requires centralized access to datasets, but transmitting such data to the cloud introduces significant communication overhead, posing a critical challenge to resource-constrained systems. Federated Learning (FL) is a promising iterative approach that reduces communication costs through local computation on devices, where only model parameters are shared with a central server. Accordingly, every communication iteration of FL experiences costs such as computation, latency, bandwidth, and energy. Although FL enables distributed learning across multiple devices without exchanging raw data, its success is often hindered by the limitations of wireless communication overhead, including traffic congestion, and device resource constraints. To address these challenges, this thesis presents cost-effective methods for making FL training more efficient in resource-constrained wireless environments. Initially, we investigate challenges in distributed training over wireless networks, addressing background traffic and latency that impede communication iterations. We introduce the cost-aware causal FL algorithm (FedCau), which balances training performance with communication and computation costs through a novel iteration-termination method, removing the need for future information. A multi-objective optimization problem is formulated, integrating FL loss and iteration costs, with communication managed via slotted-ALOHA, CSMA/CA, and OFDMA protocols. The framework is extended to include both convex and non-convex loss functions, and results are compared with established communication-efficient methods, including heavily Aggregated Quantized Gradient (LAQ). Additionally, we develop ALAQ(Adaptive LAQ), which conserves energy while maintaining high test accuracy by dynamically adjusting bit allocation for local model updates during iterations . Next, we leverage cell-free massive multiple-input multiple-output (CFm-MIMO) networks to address the high latency in large-scale FL deployments. This architecture allows for simultaneous service to many users on the same time/frequency resources, mitigating the latency bottleneck through spatial multiplexing. Accordingly, we propose optimized uplink power allocation schemes that minimize the trade-off between energy consumption and latency, enabling more iterations under given energy and latency constraints and leading to substantial gains in FL test accuracy. In this regard, we present three approaches, beginning with a method that jointly minimizes the users’ uplink energy and FL training latency. This approach optimizes the trade-off between each user’s uplink latency and energy consumption, factoring in how individual transmit power impacts the energy and latency of other users to jointly reduce overall uplink energy consumption and FL training latency.

Furthermore, to address the straggler effect, we propose an adaptive mixed-resolution quantization scheme for local gradient updates, which considers high resolution only for essential entries and utilizes dynamic power control. Finally, we introduce EFCAQ, an energy-efficient FL in CFmMIMO networks, with a proposed adaptive quantization to co-optimize the straggler effect and the overall user energy consumption while minimizing the FL loss function through an adaptive number of local iterations of users. Through extensive theoretical analysis and experimental validation, this thesis demonstrates that the proposed methods outperform state-of-the-art algorithms across various FL setups and datasets. These contributions pave the way for energy-efficient and low-latency FL systems, making them more practical for use in real-world wireless networks.

Framväxten av sakernas Internet (IoT, Internet of Things) och 5G-nät begränsas av tjänstekvaliteten i molnet, men kantberäkningar kan adressera dessa problem. Maskininlärning (ML) kommer bli avgörande för att bearbeta IoT-genererad data vid kanten av nätet, främst genom att använda distribuerade optimeringsalgoritmer för prediktion. Dagens ML-modeller kräver dock stora beräknings- och kommunikationsresurser som ofta överstiger kapaciteten hos enskilda trådlösa enheter. Dessutom kräver träningen av dessa modeller vanligtvis centraliserad åtkomst till stora datamängder, men överföringen av denna data till molnet har betydande kommunikationskostnader, vilket är en kritisk utmaning för att driva resursbegränsade system. Federerad inlärning (FL) är en lovande iterativ ML-metod som minskar kommunikationskostnaderna genom att genomföra lokala beräkning på lokalt tillgänglig data på enheterna och endast dela modellparametrar med en central server. Varje iteration i FL har vissa kostnader när det gäller beräkningar, latens, bandbredd och energi. Även om FL möjliggör distribuerad inlärning över flera enheter utan att utbyta rådata, begränsas metoden i praktiken av den trådlösa kommunikationstekniken, t.ex. trafikstockningar i nätet och energibegränsningar i enheterna. För att adressera dessa problem presenterar denna avhandling kostnadseffektiva metoder för att göra FL-träning mer effektiv i resursbegränsade trådlösa miljöer.

Inledningsvis löser vi forskningsproblem relaterade till distribuerad inlärning över trådlösa nätverk med fokus på hur annan datatrafik och kommunikationslatensen begränsar FL-iterationerna. Vi introducerar den kostnadsmedvetna kausala FL-algoritmen FedCau som balanserar träningsprestanda mot kommunikations- och beräkningskostnader. En viktig del av lösningen är en ny termineringsmetod som tar bort det tidigare behovet av att ha information om framtida beräkningar vid termineringen. Ett flermålsoptimeringsproblem formuleras för att integrera FL-kostnader med kommunikation som genomförs med ALOHA-, CSMA/CA- eller OFDMA-protokollen. Ramverket omfattar både konvexa och icke-konvexa förlustfunktioner och resultaten jämförs med etablerade kommunikationseffektiva metoder, inklusive Lazily Aggregated Quantized Gradient (LAQ). Dessutom utvecklar vi A-LAQ (adaptivLAQ) som sparar energi samtidigt som hög ML-noggrannhet bibehålls genom att dynamiskt justera bitallokeringen för de lokala modelluppdateringarna under FL-iterationerna.

Därefter analyserar vi hur cellfri massiv multiple-input multiple-output (CFmMIMO) teknik kan användas för att hantera den höga kommunikationslatensen som annars uppstår när storskaliga modeller tränas genom FL. Denna nya nätarkitektur består av många samarbetande basstationer vilket möjliggör att många användare kan skicka modelluppdateringar samtidigt på samma frekvenser genom rumslig multiplexing, vilket drastiskt minskar latensen. Vi föreslår nya upplänkseffektregleringsscheman som optimerar avvägningen mellan energiförbrukning och latens. Denna lösning möjliggör fler FL-iterationer under givna energi- och latensbegränsningar och leder till betydande vinster i FL-testnoggrannheten. Vi presenterar tre tillvägagångssätt varav det första är en metod som minimerar en matematisk avvägningen mellan varje användares upplänkslatens och energiförbrukning. Metoden tar hänsyn till hur de individuella sändningseffekterna påverkar andra användares energi och latens för att gemensamt minska den totala energiförbrukningenoch FL-träningsfördröjningen. Vårt andra bidrag är en metod för att hantera eftersläpningseffekter genom ett adaptivt kvantiseringsschema med blandad upplösning för de lokala gradientuppdateringarna. I detta schema används hög kvantiseringsupplösning endast för viktiga variabler och vi använder även dynamisk effektreglering. Slutligen introducerar vi EFCAQ som är en energieffektiv FL-metod för CFmMIMO-nätverk. EFCAQ kombinerar ett nytt adaptivt kvantiseringsschema med att samoptimera eftersläpningseffekten och användarens totala energiförbrukning så att FL-förlustfunktionen minimeras genom att använda ett adaptivt antal lokala iterationer hos varje användare.

Genom omfattande teoretisk analys och experimentell validering visar denna avhandling att de föreslagna metoderna överträffar tidigare kända algoritmer i olika FL-scenarier och för olika datauppsättningar. Våra bidrag banar väg för energieffektiva FL-system med låg latens, vilket gör dem mer praktiska för användning i verkliga trådlösa nätverk.