Pretrained Language Models (PLMs), such as BERT and GPT, have advanced the state- of-the-art in a vast range of Natural Language Understanding (NLU) downstream tasks. Using PLMs as a backbone and fine-tuning target tasks has become the standard NLU framework, leading to the emergence of many PLM-focused transfer- learning techniques. Although many variations of the original architectures have become widely used, current research fails to address the impact of different training frameworks on the performance of adaptation methods. For this purpose, we investigate the performance of transfer-learning techniques across BERT-based models on the standard benchmarks. We evaluate two popular methods for transfer in data-scarce scenarios: Task-Adaptive Pretraining (TAPT) and Supplementary Training on Intermediate Labelled-Data Tasks (STILTs), which are based on continued training and require minimal setup. Furthermore, we propose the incorporation of the Next Sentence Prediction (NSP) learning objective introduced by BERT in the second phase of TAPT pretraining. Our results show that although STILTs performs better on average, no transfer method was consistently better across models. Our proposed methods, Task-Adaptive Sentence Pretraining (TASPT) and Task-Adaptive Sentence and Masked Pretraining (TASMPT), show overall performance degradation despite improving results in specific use cases. We conclude that transfer-learning techniques through model optimisation are not robust to variations of BERT in terms of performance impact. The results suggest that a thorough search of transfer methods can be highly effective in improving downstream performance, but no conclusions can be drawn from studies performed in different models.

Pretrained Language Models (PLMs), t.ex. BERT och GPT, har förbättrat den senaste tekniken inom ett stort antal Natural Language Understanding (NLU)-uppgifter i efterföljande led. Att använda PLMs som ryggrad och finjustera måluppgifterna har blivit standardramverket för NLU, vilket har lett till uppkomsten av många PLM- fokuserade tekniker för transferinlärning. Även om många variationer av de ursprungliga arkitekturerna har blivit allmänt använda, misslyckas den nuvarande forskningen med att ta itu med effekterna av olika utbildningsramar på anpassningsmetodernas prestanda. För detta ändamål undersöker vi prestandan för transferinlärningstekniker över BERT-baserade modeller på standardbenchmarks. Vi utvärderar två populära metoder för överföring i scenarier med knappa data: Task-Adaptive Pretraining (TAPT) och Supplementary Training on Intermediate Labelled-Data Tasks (STILTs), som baseras på fortsatt träning och kräver minimal installation. Dessutom föreslår vi att lärandemålet Next Sentence Prediction (NSP), som introducerats av BERT, införlivas i den andra fasen av TAPT-förträningen. Våra resultat visar att även om STILTs presterar bättre i genomsnitt, var ingen överföringsmetod konsekvent bättre mellan modellerna. Våra föreslagna metoder, Task-Adaptive Sentence Pretraining (TASPT) och Task- Adaptive Sentence and Masked Pretraining (TASMPT), visar en övergripande prestandaförsämring trots förbättrade resultat i specifika användningsfall. Vi drar slutsatsen att transferinlärningstekniker genom modelloptimering inte är robusta mot variationer av BERT när det gäller prestandapåverkan. Resultaten tyder på att en grundlig genomgång av överföringsmetoder kan vara mycket effektiv för att förbättra nedströmsprestandan, men inga slutsatser kan dras från studier som utförts i olika modeller.