Digitala Vetenskapliga Arkivet

Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
On human perception: Detecting AI object additions and removals in images
KTH, School of Electrical Engineering and Computer Science (EECS).
KTH, School of Electrical Engineering and Computer Science (EECS).
2024 (English)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE creditsStudent thesis
Abstract [en]

Inpainting, a term originally used exclusively for restoring works of art, also has applications in image editing. This report investigates the ability of everyday people to detect when changes have been made to an image given the original and an AI-altered version changed using digital inpainting powered by generative AI. The underlying idea is to investigate what aspects of an image help people determine whether or not an image is altered, as well as the opinions surrounding current and future uses of generative inpainting. The changes made to the images belong to one of three categories: Addition, removal- and exchange of an element. A test and an accompanying interview were carried out, in which 25 people participated. In general, participants struggled most with images where elements had been removed, whilst having fewer issues with added elements. Element exchanges had mixed results. Participants explained that they were looking at a large variety of aspects in order to arrive at a conclusion. However, the shadows in the scene were often used to identify where alteration had been made but also led to falsely interpreting real shadows as signs of inpainting. Other factors include reflections and the perspective from the camera. Participants were largely surprised by the level of realism displayed in the altered images, with split opinions on the usage of the technology. Some theorized inpainting could be used for potentially immoral actions, whilst some believed in benefits like lowering the bar for image editing despite their surprise at the effectiveness of the technology.

Abstract [sv]

Inpainting, ett begrepp som ursprungligen användes uteslutande för att återställa konstverk, har även tillämpningar inom bildredigering. Denna rapport undersöker möjligheten för vanliga människor att upptäcka när ändringar har gjorts i en bild givet originalet och en AI-förändrad version ändrad med digital inpainting som drivs av generativ AI. Tanken är att undersöka vilka aspekter av en bild som hjälper människor att avgöra om en bild är ändrad eller inte, samt åsikter kring potentiella nu- och framtida användningar av AI-driven inpainting. De förändringar som gjorts i bilderna tillhör en av tre kategorier: Tillägg-, borttagning- och utbyte av ett element. För att undersöka forskningsfrågorna genomfördes ett test och en tillhörande intervju, där 25 personer deltog. Generellt sett hade deltagarna mest problem med bilder där vissa element hade tagits bort, medan de hade färre problem med tillagda element. Utbyten av element hade blandade resultat. Det uppstod en stor variation av förklaringar kring vilka aspekter deltagarna letade efter för att komma fram till en slutsats. Skuggorna i scenen användes ofta för att identifiera var förändringar hade gjorts, men ledde också till felaktig tolkning av verkliga skuggor som tecken på inpainting. Andra faktorer inkluderar reflektioner och perspektivet från kameran. Deltagarna var i stor utsträckning överraskade över realismen som visades i de ändrade bilderna, med delade åsikter om användningen av teknologin. Vissa spekulerade att inpainting skulle kunna användas för omoraliska handlingar, medan andra trodde på fördelar som att sänka tröskeln för bildredigering trots att de blivit förvånade över teknologins effektivitet.

Place, publisher, year, edition, pages
2024. , p. 11
Series
TRITA-EECS-EX ; 2024:224
Keywords [en]
Inpainting, AI-generated, Image editing, Generative Fill, Generative inpainting
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-349586OAI: oai:DiVA.org:kth-349586DiVA, id: diva2:1880737
Supervisors
Examiners
Available from: 2024-08-08 Created: 2024-07-01 Last updated: 2024-08-08Bibliographically approved

Open Access in DiVA

fulltext(647 kB)215 downloads
File information
File name FULLTEXT01.pdfFile size 647 kBChecksum SHA-512
1a6d0548d463df4d14b6343e9f95a38cc83fcd16a5df64befc706357793c27e7ba85285d20f56b948e99e34f10f20ba18991822f0c86709cb806858def23d939
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 216 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 268 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf