This thesis explores the design and implementation of modern data pipelines within the Google Cloud Platform, with a focus on identifying essential components, methodologies, and best practices to enhance their efficiency, reliability, and scalability. Conducted in collaboration with Astrafy, this research provides critical insights into the construction of automated data pipelines. The study specifically addresses the complexities of integrating various open source tools and microservices, aiming to simplify the development process by proposing a structured methodology for selecting and combining these technologies. A key contribution of this work is the creation of an automated one-click deployment system, which streamlines the setup and management of data pipelines for processing Google Cloud billing data. The system is evaluated through a series of experiments, comparing various technologies based on performance metrics such as cost, deployment time, and ease of use. The results offer valuable guidelines and replicable models for organizations seeking to implement scalable and reliable data pipelines on cloud platforms.

Denna avhandling utforskar design och implementering av moderna datapipelines inom Google Cloud Platform, med fokus på att identifiera väsentliga komponenter, metoder och bästa praxis för att förbättra deras effektivitet, tillförlitlighet och skalbarhet. Genomförd i samarbete med Astrafy ger denna forskning viktiga insikter i konstruktionen av automatiserade datapipelines. Studien adresserar specifikt komplexiteten med att integrera olika öppen källkod-verktyg och mikrotjänster, med målet att förenkla utvecklingsprocessen genom att föreslå en strukturerad metod för att välja och kombinera dessa teknologier. Ett viktigt bidrag i detta arbete är skapandet av ett automatiserat system för enkel installation med ett klick, som effektiviserar uppsättningen och hanteringen av datapipelines för bearbetning av Google Clouds faktureringsdata. Systemet utvärderas genom en serie experiment där olika teknologier jämförs baserat på prestationsmått som kostnad, distributionstid och användarvänlighet. Resultaten ger värdefulla riktlinjer och replikabla modeller för organisationer som söker att implementera skalbara och tillförlitliga datapipelines på molnplattformar.