The growing need for efficient data management in Machine Learning (ML) workflows has led to the widespread adoption of feature stores, centralized data platforms that supports feature engineering, model training and prediction inference. The Hopsworks’ feature store has demonstrated outperformance compared to its alternatives, leveraging Apache Hudi and Spark for offline data storage, but suffers from high write and read latency, even for small quantities of data (1GB or less). This thesis explores the potential of Apache Iceberg as an alternative table format to reduce latencies, developing "IcedHops", an integration of HopsFS (Hopsworks HDFS distribution) and PyIceberg Python library. The research begin with an evaluation of potential system integration alternatives, documenting the advantages and limitations of each approach. Then, IcedHops is implemented and evaluated, benchmarking it against the existing Spark-based solution and an alternative Delta Lake implementation (delta-rs). Extensive experiments were conducted across varying table sizes and CPU configurations to assess write and read performance. Results show that IcedHops significantly reduces write latency – from 40 to 140 times lower than the legacy system – and read latency – from 55% to 60 times lower than the legacy system. Compared to delta-rs, IcedHops demonstrates reduced write latency for large tables – up to 7 times lower – and equal read latency, but exhibits lower scaling benefits with additional CPU cores – 20% less than delta-rs. These findings confirm that alternatives to Spark-based pipelines in small- scale scenarios are possible and are worth of further investigations, and the system implemented will be included in the Hopsworks feature store. Furthermore, this thesis work and results finally provides a baseline for future work about additional open table formats, alternative languages to mitigate Python’s performance overhead, and strategies to improve resource utilization in data management platforms.

Det växande behovet av effektiv datahantering i arbetsflöden för maskininlär- ning (ML) har lett till en utbredd användning av feature stores – centraliserade dataplattformar som stöder feature engineering, modellträning och inferens. Hopsworks feature store har visat bättre prestanda jämfört med sina alternativ och använder Apache Hudi och Spark för offline-datalagring. Dock lider systemet av hög skriv- och läslatens, även för små datamängder (1 GB eller mindre). Denna avhandling undersöker potentialen hos Apache Iceberg som ett alternativt tabellformat och integrerar det med HopsFS (Hopsworks HDFS- distribution) samt PyIceberg Python-biblioteket för att minska latensen. Forskningen inleds med en utvärdering av potentiella systemintegrations- alternativ, där fördelar och begränsningar med varje metod dokumenteras. Därefter implementeras och utvärderas en PyIceberg-baserad arkitektur, vilken jämförs med den befintliga Spark-baserade lösningen samt en alternativ Delta Lake-implementering (delta-rs). Omfattande experiment genomfördes med varierande tabellstorlekar och CPU-konfigurationer för att bedöma skriv- och läsprestanda. Resultaten visar att PyIceberg avsevärt minskar skrivfördröjningen – från 40 till 140 gånger lägre än det äldre systemet – och läsfördröjningen – från 55% till 60 gånger lägre än det äldre systemet. Jämfört med delta-rs uppvisar PyIceberg minskad skrivfördröjning för stora tabeller – upp till sju gånger lägre – och liknande läsfördröjning, men har sämre skalningsfördelar vid ökning av CPU-kärnor (20% mindre än delta-rs). Dessa resultat bekräftar att alternativ till Spark-baserade pipelines i småskaliga scenarier är möjliga och värda ytterligare undersökningar. Det implementerade systemet kommer att integreras i Hopsworks feature store. Dessutom utgör denna avhandling en baslinje för framtida forskning kring ytterligare öppna tabellformat, alternativa programmeringsspråk för att hantera Pythons prestandabegränsningar samt strategier för att förbättra resursutnyttjandet i datahanteringsplattformar.