Digitala Vetenskapliga Arkivet

Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Data Fusion of RGB Imagery and LiDAR Point Cloud to Study Tree Inventory in an Urban Forest using Deep Learning: Multimodal Deep Learning for Tree Inventory
KTH, School of Electrical Engineering and Computer Science (EECS).
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
Datafusion av RGB-bilder och LiDAR-punktmoln för att studera trädinventering i en urban skog genom djupinlärning : Multimodal djupinlärning för trädinventering (Swedish)
Abstract [en]

The ever-changing state of urban forests, combined with the time-consuming and laborious nature of manual tree inventory methods, makes it challenging to keep updated and accurate records of a city’s tree inventory. Performing accurate Individual Tree Crown Delineation (ITCD) provides the city with both tree locations and crown boundaries, from which other useful metrics, such as crown coverage, can be derived. Deep Learning (DL) networks, such as Convolutional Neural Networks (CNNs), have been shown to perform well at this task using aerial images and Light Detection and Ranging (LiDAR) point clouds. However, using a CNN for ITCD in a data fusion approach between aerial images and LiDAR point cloud has been less explored. In this thesis, we assess the performance of separate Mask R-CNN models for Low-Level Fusion (LLF) and Mid-Level Fusion (MLF), where the inputs are orthophotos and Canopy Height Models (CHMs) (generated from the LiDAR point cloud), and compare them against their single-modality counterparts. These datasets capture an urban forest in Trollhättan, a city in southwestern Sweden, during the leaf-off season. Furthermore, we investigate the City of Trollhättan and its current routines, challenges, and needs regarding tree inventory. The results showed that the data fusion models shared the highest performance, where the MLF model had an Average Precision (AP) of 56.03 and the LLF model had an AP of 55.89. The CHM model had a similar performance (AP 55.45), while the RGB (orthophoto) model was underperforming in comparison (AP 23.80). Additionally, we found that while an accurate ITCD is beneficial for the city’s tree inventory management, the results can be extended in numerous ways, such as by incorporating tree height to provide a more useful product.

Abstract [sv]

Urbana skogar förändras ständigt. Detta, kombinerat med att utförandet av manuell trädinventering är mycket tidskrävande och mödosamt, gör det svårt för städer att upprätthålla ett uppdaterat och korrekt register över stadens träd. Att utföra individuell trädkronavgränsning (ITCD) förser staden med både trädens position och kronavgränsningar, som kan användas för att ta fram fler användbara mätetal, exempelvis krontäckningsgrad. Djupinlärningsnätverk, såsom faltningsnätverk (CNNs), har visat sig prestera bra på denna uppgift där de använt sig av flygbilder och LiDAR-punktmoln (ljusradar). Dock är datafusion mellan flygbilder och LiDAR-punktmoln mindre utforskat. I denna uppsats utvärderar vi prestandan hos separata Mask R-CNNmodeller för lågnivåfusion (LLF) och medelnivåfusion (MLF), där indata är ortofoton och kronhöjdsmodeller (som genererats från LiDAR-punktmolnet), och jämför dessa nätverk mot deras motsvarigheter som endast använder en av datatyperna som input. Dessa dataset är insamlade i en urban skog i Trollhättan, en stad i sydvästra Sverige, under den lövfria säsongen. Dessutom undersöker vi Trollhättans stad och dess rutiner, utmaningar, och önskemål kring trädinventering. Resultaten visar att datafusionsmodellerna delade den högsta prestandan, där MLF-modellen hade en snittprecision (AP) på 56.03 och LLF-modellen hade en AP på 55.89. CHM-modellen hade liknande prestanda (AP 55.45), medan RGB-modellen (ortofotomodellen) underpresterade i jämförelse (AP 23.80). Utöver detta så fann vi att medan en korrekt ITCD är gynnsam för stadens trädinventering kan detta resultat vidareutvecklas, såsom att inkludera trädhöjd för att få en ännu mer användbar produkt.

Place, publisher, year, edition, pages
2024. , p. 52
Series
TRITA-EECS-EX ; 2024:844
Keywords [en]
Machine Learning, Deep Learning, Tree Inventory, LiDAR, Orthophoto, Aerial Image, Convolutional Neural Network, CNN, Data Fusion, Individual Tree Crown Delineation, ITCD
Keywords [sv]
Maskininlärning, djupinlärning, trädinventering, LiDAR, ortofoto, flygbilder, faltningsnätverk, CNN, datafusion, individuell trädkronavgränsning
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-360618OAI: oai:DiVA.org:kth-360618DiVA, id: diva2:1941072
External cooperation
Rise Research Institutes of Sweden AB
Supervisors
Examiners
Available from: 2025-03-05 Created: 2025-02-27 Last updated: 2025-03-05Bibliographically approved

Open Access in DiVA

fulltext(6586 kB)73 downloads
File information
File name FULLTEXT01.pdfFile size 6586 kBChecksum SHA-512
df71b59842f35b90bd6648564ccc0b3192848d5e52aaf1e6185f543a9c2c115552213730150f598138ef2e4a0a67e86053bcbea8ec927a09b6d474a439f19c20
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 73 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 516 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf