Change search
ReferencesLink to record
Permanent link

Direct link
Segmentation and tracking of cells and particles in time-lapse microscopy
KTH, School of Electrical Engineering (EES), Signal Processing.ORCID iD: 0000-0002-5329-575X
2016 (English)Doctoral thesis, monograph (Other academic)
Abstract [en]

In biology, many different kinds of microscopy are used to study cells. There are many different kinds of transmission microscopy, where light is passed through the cells, that can be used without staining or other treatments that can harm the cells. There is also fluorescence microscopy, where fluorescent proteins or dyes are placed in the cells or in parts of the cells, so that they emit light of a specific wavelength when they are illuminated with light of a different wavelength. Many fluorescence microscopes can take images on many different depths in a sample and thereby build a three-dimensional image of the sample. Fluorescence microscopy can also be used to study particles, for example viruses, inside cells. Modern microscopes often have digital cameras or other equipment to take images or record time-lapse video.

When biologists perform experiments on cells, they often record image sequences or sequences of three-dimensional volumes to see how the cells behave when they are subjected to different drugs, culture substrates, or other external factors. Previously, the analysis of recorded data has often been done manually, but that is very time-consuming and the results often become subjective and hard to reproduce. Therefore there is a great need for technology for automated analysis of image sequences with cells and particles inside cells. Such technology is needed especially in biological research and drug development. But the technology could also be used clinically, for example to tailor a cancer treatment to an individual patient by evaluating different treatments on cells from a biopsy.

This thesis presents algorithms to find cells and particles in images, and to calculate tracks that show how they have moved during an experiment. We have developed a complete system that can find and track cells in all commonly used imaging modalities. We selected and extended a number of existing segmentation algorithms, and thereby created a complete tool to find cell outlines. To link the segmented objects into tracks, we developed a new track linking algorithm. The algorithm adds tracks one by one using dynamic programming, and has many advantages over prior algorithms. Among other things, it is fast, it calculates tracks which are optimal for the entire image sequence, and it can handle situations where multiple cells have been segmented incorrectly as one object. To make it possible to use information about the velocities of the objects in the linking, we developed a method where the positions of the objects are preprocessed using a filter before the linking is performed. This is important for tracking of some particles inside cells and for tracking of cell nuclei in some embryos.

 

 

 

We have developed an open source software which contains all tools that are necessary to analyze image sequences with cells or particles. It has tools for segmentation and tracking of objects, optimization of settings, manual correction, and analysis of outlines and tracks. We developed the software together with biologists who used it in their research. The software has already been used for data analysis in a number of biology publications. Our system has also achieved outstanding performance in three international objective comparisons of systems for tracking of cells.

Abstract [sv]

Inom biologi används många olika typer av mikroskopi för att studera celler. Det finns många typer av genomlysningsmikroskopi, där ljus passerar genom cellerna, som kan användas utan färgning eller andra åtgärder som riskerar att skada cellerna. Det finns också fluorescensmikroskopi där fluorescerande proteiner eller färger förs in i cellerna eller i delar av cellerna, så att de emitterar ljus av en viss våglängd då de belyses med ljus av en annan våglängd. Många fluorescensmikroskop kan ta bilder på flera olika djup i ett prov och på så sätt bygga upp en tre-dimensionell bild av provet. Fluorescensmikroskopi kan även användas för att studera partiklar, som exempelvis virus, inuti celler. Moderna mikroskop har ofta digitala kameror eller liknande utrustning för att ta bilder och spela in bildsekvenser.

När biologer gör experiment på celler spelar de ofta in bildsekvenser eller sekvenser av tre-dimensionella volymer för att se hur cellerna beter sig när de utsätts för olika läkemedel, odlingssubstrat, eller andra yttre faktorer. Tidigare har analysen av inspelad data ofta gjorts manuellt, men detta är mycket tidskrävande och resultaten blir ofta subjektiva och svåra att reproducera. Därför finns det ett stort behov av teknik för automatiserad analys av bildsekvenser med celler och partiklar inuti celler. Sådan teknik behövs framförallt inom biologisk forskning och utveckling av läkemedel. Men tekniken skulle också kunna användas kliniskt, exempelvis för att skräddarsy en cancerbehandling till en enskild patient genom att utvärdera olika behandlingar på celler från en biopsi.

I denna avhandling presenteras algoritmer för att hitta celler och partiklar i bilder, och för att beräkna trajektorier som visar hur de har förflyttat sig under ett experiment. Vi har utvecklat ett komplett system som kan hitta och följa celler i alla vanligt förekommande typer av mikroskopi. Vi valde ut och vidareutvecklade ett antal existerande segmenteringsalgoritmer, och skapade på så sätt ett heltäckande verktyg för att hitta cellkonturer. För att länka ihop de segmenterade objekten till trajektorier utvecklade vi en ny länkningsalgoritm. Algoritmen lägger till trajektorier en och en med hjälp av dynamisk programmering, och har många fördelar jämfört med tidigare algoritmer. Bland annat är den snabb, den beräknar trajektorier som är optimala över hela bildsekvensen, och den kan hantera fall då flera celler felaktigt segmenterats som ett objekt. För att kunna använda information om objektens hastighet vid länkningen utvecklade vi en metod där objektens positioner förbehandlas med hjälp av ett filter innan länkningen utförs. Detta är betydelsefullt för följning av vissa partiklar inuti celler och för följning av cellkärnor i vissa embryon.

Vi har utvecklat en mjukvara med öppen källkod, som innehåller alla verktyg som krävs för att analysera bildsekvenser med celler eller partiklar. Den har verktyg för segmentering och följning av objekt, optimering av inställningar, manuell korrektion, och analys av konturer och trajektorier. Vi utvecklade mjukvaran i samarbete med biologer som använde den i sin forskning. Mjukvaran har redan använts för dataanalys i ett antal biologiska publikationer. Vårt system har även uppnått enastående resultat i tre internationella objektiva jämförelser av system för följning av celler.

Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology, 2016. , 196 p.
Series
TRITA-EE, ISSN 1653-5146 ; 2016:189
Keyword [en]
Cell tracking, Particle tracking, Multiple target tracking, Image segmentation, Image processing, Computer vision, Open source software, Time-lapse microscopy
National Category
Signal Processing
Research subject
Electrical Engineering
Identifiers
URN: urn:nbn:se:kth:diva-196911ISBN: 978-91-7729-207-4OAI: oai:DiVA.org:kth-196911DiVA: diva2:1049813
Public defence
2016-12-16, Hörsal Q2, Osquldas väg 10, Stockholm, 13:15 (English)
Opponent
Supervisors
Funder
Swedish Research Council, 621-2011-5884
Note

QC 20161125

Available from: 2016-11-25 Created: 2016-11-25 Last updated: 2016-11-29Bibliographically approved

Open Access in DiVA

fulltext(53311 kB)31 downloads
File information
File name FULLTEXT01.pdfFile size 53311 kBChecksum SHA-512
558c53954f52587f8ff717ccea800d8409101b9a40cac4ea611e5e2180ed53b5c2ced58cef5a414bc06e33dc5ccbfcba76b9cdd7fbbccf281d68a575208dbad4
Type fulltextMimetype application/pdf

Search in DiVA

By author/editor
Magnusson, Klas E. G.
By organisation
Signal Processing
Signal Processing

Search outside of DiVA

GoogleGoogle Scholar
Total: 31 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

Total: 389 hits
ReferencesLink to record
Permanent link

Direct link