Scientific Machine Learning (SciML) is a promising field that combines data-driven models with physical laws and principles. A novel example is the application of Artificial Neural Networks (ANNs) to solve Ordinary Differential Equations (ODEs) and Partial Differential Equations (PDEs). One of the most recent approaches in this area is Physics-Informed Neural Networks (PINNs), which encode the governing physical equations directly into the neural network architecture. PINNs can solve both forward and inverse problems, learning the solution to differential equations and inferring unknown parameters or even functional forms. Therefore, they are particularly effective when partially known equations or incomplete models describe real-world systems. 

Differential equations enable a mathematical formulation for various fundamental physical laws. ODEs and PDEs are used to model the behavior of complex and dynamical systems in many fields of science. However, many real-world problems are either too complex to solve exactly or involve equations that are not fully known. In these cases, we rely on numerical methods to approximate solutions. While these methods can be very accurate, they often are computationally expensive, especially for large, nonlinear, or high-dimensional problems. Therefore, exploring alternative approaches like SciML to find more efficient and scalable solutions is fundamental.

This thesis presents a series of applications of SciML methods in identifying and solving real-world systems. First, we demonstrate using PINNs combined with symbolic regression to recover governing equations from sparse observational data, focusing on cellulose degradation within power transformers. PINNs are then applied to solve forward problems, specifically the 1D and 2D heat diffusion equations, which model thermal distribution in transformers. Moreover, we also develop an approach for optimal sensor placement using PINNs that improves data collection efficiency. A third case study examines how dimensionality reduction techniques, such as Principal Component Analysis (PCA), can be applied to explain and visualize high-dimensional data, where each observation comprises a large number of variables that describe physical systems. Using datasets on Cellulose Nanofibrils (CNFs) of various materials and concentrations, Machine Learning (ML) techniques are employed to characterize and interpret the system behavior. 

The second part of this thesis focuses on improving the scalability and robustness of PINNs. We propose a pretraining strategy that optimizes the initial weights, reducing stochasticity variability to address training instability and high computational costs in higher-dimensional problems arising from solving multi-dimensional or parametric PDEs. Moreover, we introduce an extension of PINNs, referred to as $PINN, which includes Bayesian probability within a domain decomposition framework. This formulation enhances performance, particularly in handling noisy data and multi-scale problems.

Scientific Machine Learning (SciML) är ett lovande område som kombinerar datadrivna modeller med fysiska lagar och principer. Ett nytt exempel är tillämpningen av artificiella neurala nätverk (ANN) för att lösa ordinära differentialekvationer (ODE) och partiella differentialekvationer (PDE). Ett av de senaste tillvägagångssätten inom detta område är PINN (Physics-Informed Neural Networks), som kodar de styrande fysikaliska ekvationerna direkt i neuronnätets arkitektur. PINN kan lösa både framåtriktade och inversa problem, lära sig lösningen på differentialekvationer och härleda okända parametrar eller till och med funktions former. Därför är de särskilt effektiva när delvis kända ekvationer eller ofullständiga modeller beskriver verkliga system.

Differentialekvationer möjliggör en matematisk formulering av grundläggande fysiska lagar. ODE:er och PDE:er används för att modellera beteendet hos komplexa och dynamiska system inom många vetenskapliga områden. I verkligheten är många problem antingen för komplexa för att kunna lösas exakt eller innehåller ekvationer som inte är helt kända. I dessa fall förlitar vi oss på numeriska metoder för att approximera lösningar. Trots att dessa metoder kan vara mycket exakta är de ofta beräkningsmässigt dyra, särskilt för stora, olinjära eller mångdimensionella problem. Det är därför viktigt att utforska alternativa metoder som SciML för att hitta effektivare och mer skalbara lösningar.

I denna avhandling presenteras en serie tillämpningar av SciML-metoder för att identifiera och lösa verkliga system. Först demonstrerar vi hur PINN kombinerat med symbolisk regression kan användas för att återskapa styrande ekvationer från gles observationsdata, med fokus på cellulosanedbrytning i krafttransformatorer. PINNs används sedan för att lösa framåtriktade problem, särskilt 1D- och 2D-värmediffusionsekvationerna, som modellerar termisk distribution i transformatorer. Dessutom utvecklar vi ett tillvägagångssätt för optimal sensorplacering med hjälp av PINN som förbättrar datainsamlingseffektiviteten. I ett tredje användnings område undersöks hur tekniker för dimensionsreduktion, såsom Principal Component Analysis (PCA), kan tillämpas för att förklara och visualisera mångdimensionell data, där varje observation består av ett stort antal variabler som beskriver fysiska system. Med hjälp av dataset om cellulosa nanofibrillärer CNF) av olika material och koncentrationer används maskininlärningstekniker (ML) för att karakterisera och tolka systemets beteende.

Den andra delen av avhandlingen fokuserar på att förbättra skalbarheten och robustheten hos PINN. Vi föreslår en strategi för förträning som optimerar de initiala vikterna, vilket minskar stokasticitetsvariabiliteten för att hantera träningsinstabilitet och höga beräkningskostnader i problem med fler dimensioner som uppstår vid lösning av mångdimensionella eller parametriska PDE:er. Dessutom introducerar vi en tillägg för PINN, kallad $PINN, som inkluderar Bayesiansk sannolikhet inom ett ramverk för domänkomposition. Denna formulering förbättrar prestandan, särskilt vid hantering av brusiga data och flerskaliga problem.