Machine learning as a service (MLaaS) is an emerging trend where data owners lacking computational resources or machine learning expertise outsource predictions to an entity serving a trained model for inference. Applicability of MLaaS to high-impact scenarios such as healthcare is limited by the need to ensure confidentiality of private data. Privacy-preserving machine learning is a vast family of techniques that has been proposed to ensure confidentiality of data, encompassing private inference, secure distributed training, as well as preventing statistical models from leaking private information about the individual training samples. A particularly promising strategy for inference on private data relies on Homomorphic Cryptography, a powerful technology allowing for certain operations to be performed on encrypted data, whereby the result of the computation carries over to the underlying plaintext data. By operating on polynomials, interpreted as vectors of coefficients, integerbased homomorphic schemes allow to vectorise computations for faster private computation, providing a promising tool for securing neural network inference. However, integer-based schemes are limited to express polynomial functions of encrypted data, up to a bounded depth controlled by the encryption parameters, making deep neural networks hard to port to the homomorphic setting. Importantly, non-algebraic functions such as ReLU cannot be directly expressed and require polynomial approximation. Several works targeting low-latency inference approximate ReLU with the square polynomial, trading accuracy of approximation for faster inference times. At present, a more nuanced understanding of which layers of a neural network require more careful polynomial approximation of ReLU is currently missing in the literature. This thesis explores polynomial approximation strategies for expressing ReLU on a bounded interval in the homomorphic setting. Exploring accurate polynomial approximations of ReLU, the work further investigates which layers in a feed-forward neural network require highly accurate approximation (via high-degree polynomials) and which layers are instead robust to approximation error. The investigation concludes that, for shallow networks trained on image classification tasks, the later layers are more sensitive to perturbations when ReLU is poorly approximated, and that fine-tuning can be very effective in mitigating the problem. Based on the conclusions, a lowlatency convolutional network for encrypted inference on private image data is proposed.

Machine Learning as a Service är en term för tjänster som låter innehavare av data som saknar resurser eller kunskap inom maskininlärning att delegera inferens till en annan entitet som tillhandahåller hårdvara och tränade maskininlärningsmodeller. Tillämpbarheten av MLaaS inom viktiga områden såsom sjukvård är dock begränsad av behovet av att kunna säkerställa att känslig data såsom personuppgifter hålls konfidentiell. Sekretessbevarande maskininlärning är en samlingsterm för tekniker som syftar till säkerställa denna konfidentialitet. Dessa tekniker innefattar konfidentiell inferens, säker distribuerad träning och metoder för att förhindra att statistiska modeller läcker information om data som använts för att träna modellen. En särskilt lovande strategi för konfidentiell inferens bygger på homomorfisk kryptografi, vilken möjliggör att beräkningar kan utföras på krypterad data utan att den som utför beräkningarna kan se varken datan eller beräkninsresultatet. Heltalsbaserade homomorfiska kryptosystem använder sig av polynom, tolkade som vektorer av koefficienter, och tillåter att att operationer vektoriseras för snabbare beräkningar, vilket skulle kunna användas för att möjliggöra snabb privat inferens. Dessa heltalsbaserade system är dock begränsade till enbart polynomiska funktioner på krypterad data, begränsas av krytosystemets parametrar till att endast utföra ett begränsat antal av dessa operationer. Detta gör det svårt att överföra djupa neurala nätverk till en homomorfisk modell. Ytterligare ett problem är att ickealgebraiska funktioner såsom ReLU måste approximeras som ett polynom. Tidigare studier vilka fokuserat på snabb inferens approximerar ReLU med det kvadratiska polynomet, vilket leder till kortare inferenstider på bekostnad av mindre exakt approximation. I nuläget saknas det detaljerad kunskap om vilka lager i ett neuralt nätverk som kräver en mer noggrann approximation av ReLU. Denna uppsats utforskar strategier för polynomapproximation av ReLU på ett begränsat intervall i kontexten av homomorfiska beräkningar. Vidare utforskas vilka lager i ett neuralt nätverk med feed-forward som kräver noggrann approximation av ReLU och vilka lager som är mer robusta vid förekomsten av approximationsfel. Slutsatsen från dessa studier är att för grunda nätverk tränade för bildklassifiering är de senare lagren mer känsliga för störningar då ReLU är grovt approximerad, samt att fine tuning kan användas för att motverka detta problem. Baserat på dessa slutsatser presenteras ett snabbt neuralt nätverk för krypterad inferens på konfidentiell bilddata.