Segmentation and tagging of text are important preprocessing steps for higher-level natural language processing tasks. In this thesis, we apply a sequence labelling framework based on neural networks to various segmentation and tagging tasks, including sentence segmentation, word segmentation, morpheme segmentation, joint word segmentation and part-of-speech tagging, and named entity transliteration. We apply a general neural CRF model to different tasks by designing specific tag sets. In addition, we explore effective ways of representing input characters, such as utilising concatenated n-grams and sub-character features, and use ensemble decoding to mitigate the effects of random parameter initialisation.

The segmentation and tagging models are evaluated in a truly multilingual setup with more than 70 datasets. The experimental results indicate that the proposed neural CRF model is effective for segmentation and tagging in general as state-of-the-art accuracies are achieved on datasets in different languages, genres, and annotation schemes for various tasks. For word segmentation, we propose several typological factors to statistically characterise the difficulties posed by different languages and writing systems. Based on this analysis, we apply language-specific settings to the segmentation system for higher accuracy. Our system achieves substantially better results on languages that are more difficult to segment when compared to previous work. Moreover, we investigate conventionally adopted evaluation metrics for segmentation tasks. We propose that precision should be excluded and using recall alone is more adequate for sentence segmentation and word segmentation. The segmentation and tagging tools implemented along with this thesis are publicly available as experimental frameworks for future development as well as preprocessing tools for higher-level NLP tasks.

Segmentering och taggning av text är grundläggande analyssteg som möjliggör mer avancerade tillämpningar inom språkteknologi. I denna avhandling tillämpas ett ramverk för sekvensanalys baserat på neurala nätverk på ett antal olika segmenterings- och taggningsproblem, inklusive meningssegmentering, ordsegmentering, morfemsegmentering, förenad ordsegmentering och ordklasstaggning, samt translitterering av namn. Vi tillämpar en generell neural CRF-modellen på olika problem genom att definiera olika tagguppsättningar. Vi utforskar olika sätt att representera de tecken som utgör indata till processen, såsom hopslagna teckensekvenser och grafiska särdrag, och vi använder ensemble-avkodning för att mildra effekten av slumpmässig initialisering av parametrar.

Modellerna för segmentering och taggning utvärderas på flera språk med hjälp av mer än 70 olika datamängder. De experimentella resultaten visar att den föreslagna neurala CRF-modellen är effektiv för segmentering och taggning i allmänhet, med slagkraftiga resultat för olika uppgifter, språk, genrer och annotationsscheman. För ordsegmentering föreslår vi ett antal typologiska faktorer som kan användas för att statistiskt analysera de utmaningar som ges av olika språk och skriftsystem. Denna analys kan sedan läggas till grund för språkspecifika inställningar som förbättrar segmenteringens kvalitet. Vårt system uppnår väsentligt bättre resultat än tidigare metoder på språk som är svåra att segmentera. Till sist diskuterar vi utvärderingsmetoder för segmenteringsproblem och föreslår att precision ska uteslutas till förmån för enbart täckning vid utvärdering av menings- och ordsegmentering. De verktyg för segmentering och taggning som utvecklats i samband med avhandlingsarbetet är allmänt tillgängliga för fortsatt forskning och som grundläggande analysverktyg för mer avancerade tillämpningar av språkteknologi.