Purpose The purpose of the project was to investigate how a chatbot, based on the swedish version of Microsoft Bot Framework handles language based varieties of the users questions. This is to provide an overview of how Microsoft Bot Framework works.

Method In order to answer the issues and thereby fulfill the purpose of the report, a case study based on the information on parts of the information that was available on the web page for The Courts of Sweden.. A qualitative, experimental study was made where the intelligence in Microsoft Bot Framework’s chatbot technology was tested within the categories of misspelled words, use of synonyms, randomised word order and added contextual and emotional phrases.

The research began with the development of two artefacts, one question collecting web crawler and an alternative chatbot, GORCh, that entirely lacks the intelligence that the test should cover. Apart from GORCh, a human respondent was also brought in. These two were used to demonstrate the human intelligence, providing a tool to show whether Microsoft Bot Framework has it.

Later, questions and their earlier mentioned variations where created using GORCh and subsequently asked to all respondents.

Finally, the answers were analyzed in order to answer the issues.

Result There were no case where Microsoft Bot Framework acted in the way expected if it would’ve had intelligence. Hence, the test cannot show any case where such intelligence is used for the cases tested for.

Implications It is fully possible to compensate for many of these cases, for example by entering more questions or using Microsofts other tools. This does, however, require manual work from the one who implements a chatbot built on Microsoft Bot framework..

Limitations The test was only done on Microsofts Swedish chatbot service. It does not cover intelligence in any other language. The test only covers questions to a chatbot that is limited to answering one specific subject.

Syfte Projektets syfte var att undersöka hur en chatbot byggd på Microsoft Bot Framework hanterar språkliga varianser av användarens frågor. Detta för att ge en bild av hur Microsoft Bot Framework fungerar.

Metod För att besvara frågeställningarna och därmed uppfylla syftet gjordes en fallstudie utifrån delar av den information som fanns tillgänglig på Sveriges Domstolars webbplats. En kvalitativ, experimentell studie gjordes där intelligensen i Microsoft Bot Frameworks chatbotsteknik undersöktes med avseende till framförallt felstavade ord, synonymer, slumpordnad ordföljd och adderade känslofraser.

Undersökningen började med att två artefakter togs fram, en frågesamlande web crawler och en alternativ chatbot, GORCh, som helt saknar en sådan form av intelligens som testet undersöker. Utöver GORCh togs även en mänsklig respondent in, detta för att ge ett mått på vad mänsklig intelligens åstadkommer och således ge en skala för vad Microsoft Bot Framework borde åstadkomma om den har mänsklig intelligens.

Efter det användes GORCh för att ta fram frågor med tidigare nämnda varianser. Dessa ställs sedan till övriga respondenter.

Slutligen analyserades svaren från samtliga respondenter för att kunna besvara forskningsfrågorna.

Resultat Det fanns ingen meningsvarians där Microsoft Bot Framework svarade som om en intelligent tolkning hade skett. Därför kan inte testet visa på att det finns en inbyggd simulerad intelligens för att tolka de meningsvarianser som testades.

Implikationer Det är fullt möjligt att kompensera för många av fallen, exempelvis genom att fylla i fler frågor eller genom att använda Microsofts andra verktyg. Detta kräver dock manuellt arbete från den som vill implementera en chatbot byggd på Microsoft Bot Framework.

Begränsningar Testet gjordes enbart på Microsofts svenska chatbottjänst. Det täcker inte intelligent tolkning på något annat språk. Testet täcker enbart frågor på en chatbot som kan besvara ett enskilt ämne.