This study has explored what comments OpenAI’s model gpt-4.1 makes on the coding assignments belonging to first year computer science students at KTH and compared the comments to feedback given by TAs. The intent was to determine if the AI-generated feedback contained enough correct information to potentially replace TAs. As of this AI-model, although parts of the generated feedback could be helpful to TAs when grading assignments, such as positive comments, gpt-4.1 has been proven to not work well enough to be trusted for independently grading assignments. The generated feedback did not find logical errors in the code that the TAs found, resulting in the AI passing assignments that, according to TAs, needed more work to receive a passing grade. Nevertheless, another later model could possibly be able to give proper feedback on student assignments in the future.
Denna studie har undersökt vilka kommentarer OpenAIs modell gpt-4.1 gör på koduppgifter tillhörande studenter i årskurs 1 av datateknikprogrammet på KTH och jämfört dessa kommentarer med återkoppling från kursassistenter. Målet var att avgöra om AI-genererad återkoppling innehåller tillräckligt stor andel korrekt information för att eventuellt ersätta kursassistenter. Trots att delar av AI-genererade återkopplingen kan vara hjälpsam för assistenters bedömning så är gpt-4.1 inte rustad för att pålitligt bedöma studenters uppgifter själv. Den genererade återkopplingen missar logiska fel i koden som en assistent hade märkt av, vilket leder till att AI:n godkänner studenter vars uppgifter enligt assistenter behöver kompletteras. Dock skulle en annan senare modell eventuellt kunna ge ordentlig återkoppling på studenters uppgifter i framtiden.