A quasi-Newton method with Cholesky factorization

Abstract

A quasi-Newton method for unconstrained minimization is presented, which uses a Cholesky factorization of an approximation to the Hessian matrix. In each step a new row and column of this approximation matrix is determined and its Cholesky factorization is updated. This reduces storage requirements and simplifies the calculation of the search direction. Precautions are taken to hold the approximation matrix positive definite. It is shown that under usual conditions the method converges superlinearly or evenn-step quadratic.

Zusammenfassung

Es wird eine Quasi-Newton-Methode zur Minimierung einer Funktion ohne Nebenbedingungen beschrieben, die eine Cholesky-Faktorisierung einer Approximation der Hesseschen Matrix benutzt. In jedem Schritt wird eine neue Zeile und Spalte dieser Approximationsmatrix bestimmt und die Cholesky-Faktorisierung entsprechend angepaßt. Dies führt zu einer Verringerung des benötigten Speicherplatzes und vereinfacht die Berechnung der Schrittrichtung. Es müssen Maßnahmen eingeführt werden, um die Approximationsmatrix positiv definit zu halten. Es wird gezeigt, daß das Verfahren unter üblichen Bedingungen superlinear oder sogarn-step quadratisch konvergiert.