1 Introduction 1
2 Computer Basics and Linear Equations 8
3 Nonlinear Equations 30
3.1 Bisection Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.2 Function Iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3 Newton's Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4 Quasi-Newton Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.5 Problems With Newton Methods . . . . . . . . . . . . . . . . . . . . 43
3.6 Choosing a Solution Method . . . . . . . . . . . . . . . . . . . . . . . 46
3.7 Complementarity Problems . . . . . . . . . . . . . . . . . . . . . . . 48
3.8 Complementarity Methods . . . . . . . . . . . . . . . . . . . . . . . . 51
CONTENTS ii
4 Finite-Dimensional Optimization 63
4.1 Derivative-Free Methods . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.2 Newton-Raphson Method . . . . . . . . . . . . . . . . . . . . . . . . 68
4.3 Quasi-Newton Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.4 Line Search Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.5 Special Cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.6 Constrained Optimization . . . . . . . . . . . . . . . . . . . . . . . . 79
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5 Integration and Dierentiation 94
5.1 Newton-Cotes Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.2 Gaussian Quadrature . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.3 Monte Carlo Integration . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.4 Quasi-Monte Carlo Integration . . . . . . . . . . . . . . . . . . . . . . 102
5.5 An Integration Toolbox . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.6 Numerical Dierentiation . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.7 Initial Value Problems . . . . . . . . . . . . . . . . . . . . . . . . . . 114
6 Function Approximation 127
7 Discrete State Models 177
8 Continuous State Models: Theory 218
9 Continuous State Models: Methods 257
910 Continuous Time - Theory & Examples 330
Appendix A: Dynamic Programming and Optimal Control Theory . . . . . 388
Appendix B: Deriving the Boundary Conditions for Resetting Problems . . 390
Appendix C: Deterministic Bang-Bang Problems . . . . . . . . . . . . . . 392
Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
11 Continuous Time - Methods 397
11.1 Solving Arbitrage-based Valuation Problems . . . . . . . . . . . . . . 398
11.1.1 Extensions and Renements . . . . . . . . . . . . . . . . . . . 401
11.2 Solving Stochastic Control Problems . . . . . . . . . . . . . . . . . . 408
11.3 Free Boundary Problems . . . . . . . . . . . . . . . . . . . . . . . . . 419
11.3.1 Multiple Value Functions . . . . . . . . . . . . . . . . . . . . . 430
11.3.2 Finite Horizon Problems . . . . . . . . . . . . . . . . . . . . . 443
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461
A Mathematical Background 463
A.1 Normed Linear Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . 463
A.2 Matrix Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466
A.3 Real Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 468
A.4 Markov Chains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470
A.5 Continuous Time Mathematics . . . . . . . . . . . . . . . . . . . . . . 471
A.5.1 Ito Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
A.5.2 Forward and Backward Equations . . . . . . . . . . . . . . . . 475
A.5.3 The Feynman-Kac Equation . . . . . . . . . . . . . . . . . . . 478
Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480
B A MATLAB Primer 481
B.1 The Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481
B.2 Conditional Statements And Looping . . . . . . . . . . . . . . . . . . 486
B.3 Scripts and Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 487
B.4 Debugging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492
B.5 Other Data Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494
B.6 Programming Style . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495