On human perception: Detecting AI object additions and removals in images
2024 (English)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE credits
Student thesis
Abstract [en]
Inpainting, a term originally used exclusively for restoring works of art, also has applications in image editing. This report investigates the ability of everyday people to detect when changes have been made to an image given the original and an AI-altered version changed using digital inpainting powered by generative AI. The underlying idea is to investigate what aspects of an image help people determine whether or not an image is altered, as well as the opinions surrounding current and future uses of generative inpainting. The changes made to the images belong to one of three categories: Addition, removal- and exchange of an element. A test and an accompanying interview were carried out, in which 25 people participated. In general, participants struggled most with images where elements had been removed, whilst having fewer issues with added elements. Element exchanges had mixed results. Participants explained that they were looking at a large variety of aspects in order to arrive at a conclusion. However, the shadows in the scene were often used to identify where alteration had been made but also led to falsely interpreting real shadows as signs of inpainting. Other factors include reflections and the perspective from the camera. Participants were largely surprised by the level of realism displayed in the altered images, with split opinions on the usage of the technology. Some theorized inpainting could be used for potentially immoral actions, whilst some believed in benefits like lowering the bar for image editing despite their surprise at the effectiveness of the technology.
Abstract [sv]
Inpainting, ett begrepp som ursprungligen användes uteslutande för att återställa konstverk, har även tillämpningar inom bildredigering. Denna rapport undersöker möjligheten för vanliga människor att upptäcka när ändringar har gjorts i en bild givet originalet och en AI-förändrad version ändrad med digital inpainting som drivs av generativ AI. Tanken är att undersöka vilka aspekter av en bild som hjälper människor att avgöra om en bild är ändrad eller inte, samt åsikter kring potentiella nu- och framtida användningar av AI-driven inpainting. De förändringar som gjorts i bilderna tillhör en av tre kategorier: Tillägg-, borttagning- och utbyte av ett element. För att undersöka forskningsfrågorna genomfördes ett test och en tillhörande intervju, där 25 personer deltog. Generellt sett hade deltagarna mest problem med bilder där vissa element hade tagits bort, medan de hade färre problem med tillagda element. Utbyten av element hade blandade resultat. Det uppstod en stor variation av förklaringar kring vilka aspekter deltagarna letade efter för att komma fram till en slutsats. Skuggorna i scenen användes ofta för att identifiera var förändringar hade gjorts, men ledde också till felaktig tolkning av verkliga skuggor som tecken på inpainting. Andra faktorer inkluderar reflektioner och perspektivet från kameran. Deltagarna var i stor utsträckning överraskade över realismen som visades i de ändrade bilderna, med delade åsikter om användningen av teknologin. Vissa spekulerade att inpainting skulle kunna användas för omoraliska handlingar, medan andra trodde på fördelar som att sänka tröskeln för bildredigering trots att de blivit förvånade över teknologins effektivitet.
Place, publisher, year, edition, pages
2024. , p. 11
Series
TRITA-EECS-EX ; 2024:224
Keywords [en]
Inpainting, AI-generated, Image editing, Generative Fill, Generative inpainting
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-349586OAI: oai:DiVA.org:kth-349586DiVA, id: diva2:1880737
Supervisors
Examiners
2024-08-082024-07-012024-08-08Bibliographically approved