Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Attribute-Driven Generation of Drug Reviews using Deep Learning
KTH, School of Electrical Engineering and Computer Science (EECS).
2019 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
Attributdriven generering av läkemedelsrecensioner med djupinlärning (Swedish)
Abstract [en]

In the last years, the demands on different models using deep learning to generate textual data conditionally have increased, where one would like to control what textual data to generate from a deep learning model. For this purpose, a couple of models have been developed and achieved state-of-art performance in the field of generating textual data conditionally. Therefore, the purpose of this study was to develop a new model that could outperform the relevant baseline models with respect to the BLEU metric. The alternative model combined some of the properties from the state-of-art models and was given the name the Variational Attribute-to-Sequence decoder model (shortened to the V-Att2Seq model) that paraphrases the name of one of the state-of-art models and "variational" refers to its application of variational recurrent autoencoders (VRAE). The data set used in this study contained drug reviews that were written by patients to express their opinion about the drug that they have used to treat a certain condition. The drug review texts were accompanied by the following attributes: the (name of the) drug, the condition, and the rating that the patient has given to the drug. The results in this study show that the V-Att2Seq model did not outperform all the baseline models, which concluded that the V-Att2Seq model did not satisfy the requirements imposed on the model itself. However, there are some future work that is suggested by this study to hopefully improve the performance of the V-Att2Seq model in the future such as including other mechanisms that are present in the state-of-art models, testing withe.g. other sizes and settings of the V-Att2Seq model, and testing different strategies forgenerating sequences since there is still potential that has been observed in the model that should be further investigated to improve its performance.

Abstract [sv]

De senaste åren har efterfrågan på djupinlärningsmodeller, som villkorligt genererar textuell data, ökat då det önskas att kunna kontrollera vilka typer av data som genereras från en djupinlärningsmodell. För detta ändamål har ett par olika modeller tagits fram och uppnått bästa prestanda vad gäller att generera textuell data villkorligt. Syftet med denna studie var därmed att ta fram en modell som kunde prestera bättre än relevanta basmodeller med hänsyn till BLEU-måttet. Denna alternativa modell kombinerade några av egenskaperna hos de bästa modellerna och gavs namnet Variationell Attribut-till-Sekvens-avkodarmodell(förkortat till V-Att2Seq från den engelska benämningen Variational Attribute-to-Sequence decoder model), som parafraserar namnet på en av de bästa modellerna och där "variationell" syftar på modellens tillämpning av variationella autokodare. Datan som använts i denna studie innehöll läkemedelsrecensioner skrivna av patienter för att uttrycka sina åsikter om ett läkemedel som de använt för att behandla en viss sjukdom. Läkemedelsrecensionstexterna åtföljdes av följande attribut: (namnet på) läkemedel, sjukdom och betyget som patienten har gett till läkemedlet. Resultaten i denna studie visar att V-Att2Seq-modellen inte presterade bättre än samtliga basmodeller, vilket gjorde att slutsatsen om att V-Att2Seq-modellen inte tillfredsställde samtliga krav som fanns på denna modell drogs. Denna studie föreslår dock vidare arbete för att förhoppningsvis förbättra prestandan av V-Att2Seq-modellen i framtiden såsom att tillämpa andra mekanismer som återfinns hos de bästa modellerna, testa med bl.a. olika storlekar och inställningar av V-Att2Seq-modellen samt testa andra strategier för att generera sekvenser då det finns mycket potential, som har observerats kring denna modell, som borde vidare undersökas för att förbättra modellens prestanda.

Place, publisher, year, edition, pages
2019. , p. 44
Series
TRITA-EECS-EX ; 2019:576
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-263589OAI: oai:DiVA.org:kth-263589DiVA, id: diva2:1368334
External cooperation
Omicron Ceti AB
Supervisors
Examiners
Available from: 2019-11-18 Created: 2019-11-06 Last updated: 2019-11-18Bibliographically approved

Open Access in DiVA

fulltext(1391 kB)4 downloads
File information
File name FULLTEXT02.pdfFile size 1391 kBChecksum SHA-512
9a02c3e1e5f4a7943d867e517919f36102133cfc032da1807647aaae00d5e915a8fbe23bff82787552b3b2b3cae7b28ae0440127c1342afa301784b9b21f9379
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 4 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 14 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf