Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Transfer Learning for Sales Volume Forecasting Using Convolutional Neural Networks
KTH, School of Electrical Engineering and Computer Science (EECS).
2019 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

Improved time series forecasting accuracy can enhance demand planning, and therefore save money and reduce environmental impact. The idea behind this degree project is to explore transfer learning for time series forecasting. This has boiled down to two concrete goals. The first one is to examine if transfer learning can improve the forecasting accuracy when using a convolutional neural network (CNN) with dilated causal convolutions. The second goal is to investigate whether transfer learning makes it possible to forecast time series with less historical data.In this project, time series describing sales volume and price from three different consumer appliances are used. The length of the time series is about three years. Two transfer learning techniques are used: shared-hidden-layer CNN and pre-training. To tackle the first goal, the two transfer learning techniques are benchmarked against a CNN. The second goal is investigated conducting an experiment where the training set size varies for both a CNN and the two transfer learning techniques.The results from the first experiment indicate that transfer learning neither increase nor decrease forecasting accuracy. Interestingly, the second experiment however show that only 60 % (40 % for the SHL-CNN) of training samples is optimal for all models. This goes against the intuition that more training data leads to better model performance and this is most likely a phenomenum related specifically to time series forecasting. However, the percentage of 60 % most likely is application specific, we also find that pre-training, from any of the other products, improves the forecasting accuracy. Finally, reducing the training set further (20 % of training samples) affect the model differently. One pre-training model performs better than the rest, which perform very similar. This indicates that there are cases when transfer learning allows for forecasting smaller time series. However, further studies are required to establish how general these observations are.

Abstract [sv]

Bättre tidsserieprediktion kan förbättra planering av en försörjningskedja, därmed spara pengar och minska miljöpåverkan. Tanken bakom detta examensprojekt är att utforska transfer learning för prognos av tidsserier. Detta resulterar i två konkreta mål. Det första är att undersöka hur transfer learning kan förbättra prognosnoggrannheten när ett faltningsnätverk (CNN) med utvidgning och kausalitet används. Det andra målet är att undersöka om transfer learning gör det möjligt att förutspå tidsserier med mindre historisk data. De använda tidsserierna består av försäljningsvolymer och priser från tre hushållsapparater av samma slag. Tidsseriernas längd är cirka tre år. Två transfer learning tekniker används: delade dolda lager CNN (SHL-CNN) och förträning av ett CNN.För att ta itu med det första målet, så jämförs prognosnoggrannheten mellan de två transfer learning teknikerna och ett CNN. Det andra målet undersöks genom ett experiment där storleken av träningsuppsättningen varieras för ett CNN och de båda transfer learning teknikerna.Resultat ifrån det första experimentet indikerar att transfer learing varken försämrar eller förbättrar prognosnoggrannheten. Det andra experimentet visar att när antalet träningsexempel minskas till 60 % (40 % för SHL-CNN) så förbättras prediktionerna för alla modeller. Detta är inte intuitivt och är sannolikt ett fenomen specifikt för prediktion av tidsserier. Vidare så är proportionen 60 % specifik för detta projekt och vi finner även att vid denna proportion så är prediktionerna från förträning bättre än de från faltningsnätverket. Den sista upptäckten är att när antalet träningsexempel krymper till 20 % så presterar förträningsmodellen bättre än de andra. Detta pekar på att transfer learning i vissa fall kan göra det möjligt att förutspå tidsserier med mindre historisk data.

Place, publisher, year, edition, pages
2019. , p. 43
Series
TRITA-EECS-EX ; 2019:464
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-255007OAI: oai:DiVA.org:kth-255007DiVA, id: diva2:1337244
Examiners
Available from: 2019-07-12 Created: 2019-07-12 Last updated: 2019-07-12Bibliographically approved

Open Access in DiVA

fulltext(846 kB)32 downloads
File information
File name FULLTEXT01.pdfFile size 846 kBChecksum SHA-512
7db876c9333048d1ce4b2fc74ba7f4a09335e00603b081a1c2753945d7d6a0cc523d8b57afbd8cda4830cd0ce52d713e7bcc848ade49df38492931b09ae1a4ff
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 32 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 108 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf