This study explores the reliability of various AI detectors and their potential role within universities. The method conducted involved collecting 20 texts from individuals with diverse academic backgrounds. These were then submitted to ChatGPT 4 with the prompt “Write an introduction to an academic text based on this title ‘...’. Write it as a university student, with sources and about 300-500 words!”, resulting in 20 AI-generated texts. All these texts were then evaluated by three different AI detectors to determine the likelihood of them being written by a human versus generated by an AI. For an assessment to be considered correct, the AI detector had to achieve a result of 95% or higher. The results were compiled by counting the correctly judged texts, spanning the various assessments percentage-wise, and averaging the results of the three AI detectors for both human-written and AI-generated texts. The average results for the three detectors were 40%, 55%, and 55% respectively. Therefore, the study concludes that AI detectors are too unreliable to play a role within universities. The study ends by discussing these results in more detail.

Denna studie undersöker hur tillförlitliga olika AI-detektorer är och vilken roll dessa kan spela inom universitet. Metoden som användes var att samla in 20 texter från människor med olika akademisk bakgrund. Därefter skickades prompten “Write an introduction to an academic text based on this title ‘...’. Write it as a university student, with sources and about 300-500 words!” till ChatGPT 4, som i sin tur genererade 20 texter. Alla dessa texter skickades till tre olika AI-detektorer som bedömde hur stor sannolikhet det var att de var skrivna av människor respektive genererade av AI. För att en bedömning skulle räknas som godkänd krävdes ett resultat på 95% eller mer från AI-detektorn. Resultaten sammanställdes sedan genom antalet korrekt bedömda texter och vilket spann de olika bedömningarna låg inom procentuellt. Dessutom beräknades ett sammanställt snitt för de tre olika AI-detektorerna när texterna skrivna av människor och de AI-genererade texterna räknades samman. Snittet för de tre olika detektorerna hamnade på 40%, 55% och 55%. Därav kan studien konstatera att AI-detektorer är för opålitliga för att spela en roll inom universitet. Studien avslutar med att diskutera dessa resultat mer ingående.