Machine learning based power estimation in cloud native applications
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Maskininlärning baserad makt uppskattning i moln inhemska applikationer (Swedish)
Abstract [en]
In this thesis report we aim to investigate the power prediction of cloud-native applications which is a critical aspect of optimization in energy consumption, resource usage allocation and improving sustainability in modern data centers and IT infrastructure. Cloud-native applications are often characterized by scalability, flexibility, and while deployed in cloud environments they pose unique challenges for power estimation and management. In this research we aim to develop and evaluate Machine Learning models for accurately predicting the power usage of these applications under varying workloads and configurations. For this purpose we employ a combination of machine learning techniques and statistical analysis to model the power consumption patterns of docker container applications and conduct experiments using simulation benchmark datasets and diverse scenarios to ensure the robustness and generalization ability of the proposed models. Key factors that influence power consumption, such as low level resource utilization features are analyzed. The framework we used in this thesis is the open source Kubernetes Efficient Power Level Exporter (Kepler) project and [11] our contribution lies in the proposal and evaluation of more complex models in the kepler model server while analyzing the predictive power of the kepler exported features. Our findings demonstrate that more suitable models exist for accurate power prediction and this can lead to significant improvements in energy optimization and cost saving scenarios for cloud service providers.
Abstract [sv]
I detta examensarbete undersöker vi effektberäkningen av molnbaserade applikationer, vilket är en kritisk aspekt för att optimera energiförbrukningen, fördela resursanvändningen och förbättra hållbarheten i moderna datacenter och IT-infrastruktur. Molnbaserade applikationer kännetecknas ofta av skalbarhet, flexibilitet och när de distribueras i molnmiljöer utgör de unika utmaningar för effektuppskattning och -hantering. I denna forskning syftar vi till att utveckla och utvärdera maskininlärningsmodeller för att exakt förutsäga strömförbrukningen för dessa applikationer under varierande arbetsbelastningar och konfigurationer. För detta ändamål använder vi en kombination av maskininlärningstekniker och statistisk analys för att modellera strömförbrukningsmönstren för docker-containerapplikationer och genomföra experiment med hjälp av simuleringsbenchmarkdataset och olika olika scenarier för att säkerställa robustheten och generaliseringsförmågan hos de föreslagna modellerna. Viktiga faktorer som påverkar strömförbrukningen, t.ex. funktioner för resursanvändning på låg nivå, analyseras. Det ramverk som vi använder i den här avhandlingen är kepler-projektet med öppen källkod och vårt bidrag ligger i förslaget och utvärderingen av mer komplexa modeller i kepler-modellservern samtidigt som vi analyserar prediktionsförmågan hos de kepler-exporterade funktionerna. Våra resultat visar att det finns mer lämpliga modeller för korrekta effektprognoser, vilket kan leda till betydande förbättringar av energioptimering och kostnadsbesparingar för molntjänstleverantörer.
Place, publisher, year, edition, pages
2024. , p. 72
Series
TRITA-EECS-EX ; 2024:836
Keywords [en]
power consumption, power meter, machine learning, feature engineering, deep learning, feature correlation, regressor models, server profiling, container resource usage, kepler sustainable computing
Keywords [sv]
strömförbrukning, strömmätare, maskininlärning, feature engineering, djupinlärning, feature correlation, regressormodeller, serverprofilering, resursanvändning i containrar, kepler sustainable computing
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-360487OAI: oai:DiVA.org:kth-360487DiVA, id: diva2:1940447
External cooperation
Ericsson
Supervisors
Examiners
2025-03-032025-02-262025-03-03Bibliographically approved