<p> </p><p> </p><p><br/>METHODS FOR<br/>NON-LINEAR LEAST<br/>SQUARES PROBLEMS<br/>2nd Edition, April 2004<br/>K. Madsen, H.B. Nielsen, O. Tingleff<br/>Informatics and Mathematical Modelling<br/>Technical University of Denmark</p><p>CONTENTS<br/>1. INTRODUCTION AND DEFINITIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1<br/>2. DESCENT METHODS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5<br/>2.1. The Steepest Descent method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7<br/>2.2. Newton’s Method. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8<br/>2.3. Line Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9<br/>2.4. Trust Region and Damped Methods . . . . . . . . . . . . . . . . . . . . . . . . 11<br/>3. NON-LINEAR LEAST SQUARES PROBLEMS . . . . . . . . . . . . . . . . . . . . . 17<br/>3.1. The Gauss–Newton Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20<br/>3.2. The Levenberg–Marquardt Method. . . . . . . . . . . . . . . . . . . . . . . . .24<br/>3.3. Powell’s Dog Leg Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29<br/>3.4. A Hybrid Method: L–M and Quasi–Newton. . . . . . . . . . . . . . . . .34<br/>3.5. A Secant Version of the L–M Method . . . . . . . . . . . . . . . . . . . . . . 40<br/>3.6. A Secant Version of the Dog Leg Method . . . . . . . . . . . . . . . . . . . 45<br/>3.7. Final Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47<br/>APPENDIX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50<br/>REFERENCES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55<br/>INDEX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .57</p>