Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Intelligent Scheduling for Yarn: Using Online Machine Learning
KTH, School of Information and Communication Technology (ICT).
2017 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

Many big companies who provide cloud infrastructure, platforms and services have to face a lot of challenges in dealing with big data and execution of thousands of tasks that run on servers. Thousands of servers running in cloud consume a large amount of energy which increases operating cost to a great extent for companies hosting infrastructures and platforms as services. Hundreds of thousands of applications are submitted every day on these servers by users. On submission of applications, somehow the total resources are not properly utilized which cause the overall operating cost to increase.

A distribution of Apache Hadoop called HOPS is developed at SICS Swedish ICT and efforts are made to make it a better platform for institutions and companies. Yarn is used as the resource management and scheduling framework which is responsible for allocating resources such as memory and CPU cores to submitted applications. Yarn simply allocate resources based on the default set of values or what user has demanded. Yarn has no prior information about the submitted applications so it is very much possible that allocated resources are more or less than required. Energy is being wasted if fewer resources are required or application will probably not succeed if required more. In this research project, different techniques and methods are looked into for the collection of useful metrics related to applications and resources from Yarn, Spark and other sources.

Machine Learning is becoming a very popular technique nowadays for the optimization of systems dealing with big data in a cloud environment. The goal is to collect these vital metrics and build a machine learning model to commission smart allocation of resources to submitted applications. This can help to increase the efficiency of the servers in the cloud and reduce the operating cost. Finally, a machine learning model was developed and memory and vCores were successfully predicted to be allocated to applications.

Abstract [sv]

Många stora företag som tillhandahåller molninfrastruktur, plattformar och tjänster måste möta många utmaningar när det handlar om stora data och utförandeav tusentals uppgifter som körs på servrar. Tusentals servrar som kör i molnetförbrukar en stor mängd energi vilket i hög grad ökar driftskostnaden för företag som tillhandahåller infrastrukturer och plattformar som tjänster. Hundratusentals applikationer skickas varje dag på dessa servrar av användare. Vid inlämning av ansökningar på något sätt utnyttjas inte de totala resurserna korrekt, vilket medför att de totala driftskostnaderna ökar.

En distribution av Apache Hadoop, kallad HOPS, är utvecklad hos SICS Swedish ICT, och det görs ansträngningar för att göra den till en bättre plattform för institutioner och företag. Garn används som resurshanteringsoch schemaläggningsramen som är ansvarig för att allokera resurser som minne och CPU-kärnor till inlämnade applikationer. Garn fördelar helt enkelt resurser utifrån standardvärdet av värden eller vilken användare som har krävt. Garn har ingentidigare information om de inlämnade ansökningarna så det är mycket möjligtatt tilldelade resurser är mer eller mindre än vad som krävs. Energi slösas bort om färre resurser krävs eller ansökan kommer sannolikt inte att lyckas om det behövs mer. I detta forskningsprojekt undersöks olika tekniker och metoder för insamling av användbara mätvärden relaterade till applikationer och resurser från Garn, Spark och andra källor.

Machine Learning blir idag en mycket populär teknik för optimering av systemsom hanterar stora data i en molnmiljö.Målet är att samla in dessa viktigamätvärden och bygga en maskininlärningsmodell för att beställa smart fördelning av resurser till inlämnade applikationer. Detta kan hjälpa till att öka effektiviteten hos servrarna i molnet och minska driftskostnaden. Slutligen utvecklades en maskininlärningsmodell och minnet och vCores hade framgångsrikt förutsagt att tilldelas applikationer.

Place, publisher, year, edition, pages
2017. , p. 49
Series
TRITA-ICT-EX ; 2017:148
National Category
Computer Sciences
Identifiers
URN: urn:nbn:se:kth:diva-219607OAI: oai:DiVA.org:kth-219607DiVA, id: diva2:1164149
Subject / course
Computer Science
Educational program
Master of Science - Embedded Systems
Supervisors
Examiners
Available from: 2017-12-14 Created: 2017-12-10 Last updated: 2018-01-13Bibliographically approved

Open Access in DiVA

fulltext(967 kB)50 downloads
File information
File name FULLTEXT01.pdfFile size 967 kBChecksum SHA-512
92fcb93af63abc40a932b5766879ab9aef86635f5c1c73fce20d2c2c1a15f164721245faba229c8d1b8d4f56efa80b37457fe1165f1e47283f9a1064cf0372c0
Type fulltextMimetype application/pdf

By organisation
School of Information and Communication Technology (ICT)
Computer Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 50 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 87 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf