Methods for solving nonlinear optimization problems typically involve solving systems of equations. This thesis concerns approaches for accelerating some of those methods. In our setting, accelerating involves finding a trade-off between the computational cost of an iteration and the quality of the computed search direction. We design approaches for which theoretical results in ideal settings are derived. We also investigate the practical performance of the approaches within and beyond the boundaries of the theoretical frameworks with numerical simulations.

Paper A concerns methods for solving strictly convex unconstrained quadratic optimization problems. This is equivalent to solving systems of linear equations where the matrices are symmetric positive definite. The main focus is exact linesearch limited-memory quasi-Newton methods which generate search directions parallel to those of the method of preconditioned conjugate gradients. We give a class of limited-memory quasi-Newton methods. In addition, we provide a dynamic framework for the construction of these methods. The methods are meant to be particularly useful for solving sequences of related systems of linear equations. Such sequences typically arise as methods for solving systems of nonlinear equations converge.

Paper B deals with solving systems of nonlinear equations that arise in interior-point methods for bound-constrained nonlinear programming. Application of Newton's method gives sequences of systems of linear equations. We propose partial and full approximate solutions to the Newton systems. The partial approximate solutions are computationally inexpensive, whereas each full approximate solution typically requires a reduced Newton system to be solved. In addition, we suggest two Newton-like approaches, which are based upon the proposed partial approximate solutions, for solving the systems of nonlinear equations.

Paper C is focused on interior-point methods for quadratic programming. We propose a structured modified Newton approach to solve the systems of nonlinear equations that arise. The modified Jacobians are composed of a previous Jacobian, plus one low-rank update matrix per succeeding iteration. For a given rank restriction, we construct a low-rank update matrix such that the modified Jacobian becomes closest to the current Jacobian, in both 2-norm and Frobenious norm. The approach is structured in the sense that it preserves the nonzero pattern of the Jacobian.

The approaches suggested in Paper B and Paper C are motivated by asymptotic results in ideal theoretical frameworks. In particular, it is shown that the approaches become increasingly accurate as primal-dual interior-point methods converge. A demonstration of the practical performance is given by numerical results. The results indicate the performance and limitations of the approaches suggested.

We envisage that the approaches of Paper A, Paper B and Paper C can be useful in parallel, or in combination, with existing solvers in order to accelerate methods.

Paper D is more pedagogical in nature. We give a derivation of the method of conjugate gradients in an optimization framework. The result itself is well known but the derivation has, to the best of our knowledge, not been presented before.

Metoder för att lösa ickelinjära optimeringsproblem involverar vanligtvis lösning av ekvationssystem. Denna avhandling handlar om strategier för att accelerera några av dessa metoder. I vårt ramverk innebär acceleration att hitta en avvägning mellan beräkningskostnaden för en iteration och kvaliteten av den beräknade sökriktningen. Vi utformar strategier för vilka teoretiska resultat i ideala omgivningar härleds. Vi undersöker också strategiernas praktiska prestanda inom och utanför gränserna för de teoretiska omgivningarna med numeriska simuleringar.

Artikel A behandlar metoder för att lösa strikt konvexa kvadratiska optimeringsproblem utan bivillkor. Detta motsvarar att lösa linjära ekvationssystem där matriserna är symmetriska och positivt definita. Huvudfokus är kvasi-Newtonmetoder, med exakt linjesökning och begränsat minne, som genererar sökriktningar parallella med de i konjugerade gradientmetoden. Vi ger en klass av kvasi-Newtonmetoder med begränsat minne. Dessutom föreslår vi ett dynamiskt ramverk för att konstruera dessa metoder. Metoderna är avsedda att vara särskilt användbara för att lösa sekvenser av relaterade linjära ekvationssystem. Sådana sekvenser förekommer vanligtvis då metoder för att lösa ickelinjära ekvationssystem konvergerar.

Artikel B handlar om att lösa ickelinjära ekvationssystem som uppstår i inre-punktsmetoder för ickelinjär optimering med begränsade variabler. Till-ämpning av Newtons metod ger sekvenser av linjära ekvationssystem. Vi föreslår partiella och fullständiga approximativa lösningar till Newton-systemen. De partiella approximativa lösningarna är beräkningsmässigt billiga, medan varje fullständig approximativ lösning vanligtvis kräver att ett reducerat Newton-system löses. Dessutom föreslår vi två Newton-liknande strategier, som baseras på de föreslagna partiella approximativa lösningarna, för att lösa de ickelinjära ekvationssystemen.

Artikel C berör inre-punktsmetoder för kvadratisk optimering med linjära olikhetsbivillkor. Vi föreslår en strukturerad modifierad Newton-strategi för att lösa de ickelinjära ekvationssystemen som uppstår. De modifierade Jakobianerna är sammansatta av en tidigare Jakobian, samt en uppdateringsmatris av låg rang per efterföljande iteration. För en given rangbegränsning konstruerar vi en uppdateringsmatris av låg rang sådan att den modifierade Jakobianen blir närmast den nuvarande Jakobianen, i både 2-norm och Frobenious-norm. Strategin är strukturerad i avseendet att den bevarar Jakobianens gleshetsstruktur.

Strategierna som föreslås i Artikel B och Artikel C motiveras med asymptotiska resultat i ideala teoretiska omgivningar. Särskilt visas det att strategierna blir alltmer exakta då primal-duala inre-punktsmetoder konvergerar. En undersökning av deras praktiska prestanda ges genom numeriska resultat. Resultaten illustrerar de föreslagna strategiernas praktiska prestanda samt deras begränsningar.

Vi föreställer oss att strategierna i Artikel A, Artikel B och Artikel C kan vara användbara parallellt, eller i kombination, med befintliga lösare för att accelerera metoder.

Artikel D är mer pedagogisk i sin natur. Vi ger en härledning av konjugerade gradientsmetoden i ett optimeringsramverk. Resultatet i sig är välkänt men härledningen har, såvitt vi vet, inte presenterats tidigare.