The integration of Reinforcement Learning (RL) with Behavior Trees (BTs) has emerged as a promising approach for robotic control systems. However, when training individual sub-controllers within a BT sequence, local optimization often leads to suboptimal global performance. This challenge is particularly evident in robotic manipulation tasks, where the effectiveness of subsequent actions depends heavily on the outcomes of preceding ones. This thesis investigates the application of value function integration at switching boundaries between BT nodes to achieve global optimization in robotic task sequences. While previous research has demonstrated this approach’s effectiveness in simple scenarios like box-pushing tasks, its applicability to complex robotic manipulation, with high-dimensional state spaces and intricate dynamics, remained unexplored. The study implements and evaluates this method using Unity ML-Agents and the ABB CRB15000 manipulator in a simulated environment, focusing on a combined peg grasping and insertion task sequence. The approach incorporates the estimated value function of the insertion task into the reward structure of the grasping task, encouraging behaviors that optimize for the entire sequence rather than individual components. The results show significant improvements over the baseline approach across multiple metrics. The value function integration method consistently achieved deeper insertions, higher cumulative rewards, and improved efficiency in terms of total steps required, while maintaining a superior success rate. Statistical analysis confirms the significance of these improvements with large effects for key performance metrics. These findings extend the theoretical framework of value function integration to practical robotic applications, providing a foundation for developing more sophisticated control systems. The demonstrated success in complex manipulation tasks suggests potential applications in various robotic domains, particularly where task sequencing and global optimization are crucial for system performance.

Integrationen av förstärkningsinlärning (RL) med beteendeträd (BT) har framträtt som en lovande metod för styrsystem för robotar. När man tränar individuella subsystem inom en BT-sekvens leder dock lokal optimering ofta till suboptimal global prestanda. Denna utmaning är särskilt tydlig i manipuleringsuppgifter för robotar, där effektiviteten av efterföljande åtgärder är starkt beroende av resultaten från de föregående. Det här arbetet undersöker tillämpningen av värdefunktionsintegration vid växlingsgränser mellan BT-noder för att uppnå global optimering i uppgiftsse- kvenser för robotar. Medan tidigare forskning har visat metodens effektivitet i enkla scenarier som låd-skjutningsuppgifter, var dess tillämpbarhet på komplex manipulation, med högdimensionella tillståndsrum och komplex dynamik, fortfarande outforskad. Studien implementerar och utvärderar denna metod med hjälp av Unity ML-Agents och ABB CRB15000-manipulatorn i en simulerad miljö, med fo- kus på en kombinerad sekvens av grepp och insättning. Metoden införlivar den uppskattade värdefunktionen från insättningsuppgiften i belöningsstrukturen för grepptaget, vilket uppmuntrar beteenden som optimerar för hela sekvensen snarare än enskilda komponenter. Resultaten visar betydande förbättringar jämfört med basnivån över flera mätetal. Metoden för värdefunktionsintegration uppnådde konsekvent djupare insättningar, högre kumulativa belöningar och förbättrad effektivitet vad gäller totalt antal steg som krävs, samtidigt som en överlägsen framgångsfrekvens bibehölls. Statistisk analys bekräftar signifikansen av dessa förbättringar med stora effektstorlekar för viktiga prestandamått. Dessa fynd utvidgar det teoretiska ramverket för värdefunktionsintegration till praktiska robotapplikationer och ger en grund för utveckling av mer sofistikerade styrsystem. Den demonstrerade framgången i komplexa manipu- leringsuppgifter antyder potentiella tillämpningar inom olika robotdomäner, särskilt där uppgiftssekvensering och global optimering är avgörande för systemets prestanda.