Stochastic Economic Dynamics
John Stachurski
April 6, 2007

Contents
1 Introduction 10
I Introduction to Stochastic Dynamics 17
2 Introduction to Programming 18
2.1 Programming Techniques . . . . . . . . . . . . . . . . . . . . . 18
2.1.1 Writing Pseudocode . . . . . . . . . . . . . . . . . . . 18
2.1.2 First Steps in R . . . . . . . . . . . . . . . . . . . . . . 22
2.1.3 Functions and Conditions . . . . . . . . . . . . . . . . 29
2.2 More R Programming . . . . . . . . . . . . . . . . . . . . . . 34
2.2.1 Loops and Repetition . . . . . . . . . . . . . . . . . . . 34
2.2.2 Graphics . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.2.3 More Features . . . . . . . . . . . . . . . . . . . . . . . 41
3 Mathematical Preliminaries 44
3.1 The Nuts and Bolts . . . . . . . . . . . . . . . . . . . . . . . . 44
3.1.1 Sets and Logic . . . . . . . . . . . . . . . . . . . . . . 44
3.1.2 Functions . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.1.3 Basic Probability . . . . . . . . . . . . . . . . . . . . . 51
3.2 The Real Numbers . . . . . . . . . . . . . . . . . . . . . . . . 55
3.2.1 Real Sequences . . . . . . . . . . . . . . . . . . . . . . 55
3.2.2 Max, Min, Sup and Inf . . . . . . . . . . . . . . . . . . 60
3.2.3 Functions of a Real Variable . . . . . . . . . . . . . . . 63
4 Analysis in Metric Space 66
4.1 A First Look at Metric Space . . . . . . . . . . . . . . . . . . 66
4.1.1 Distances and Norms . . . . . . . . . . . . . . . . . . . 67
4.1.2 Sequences . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.1.3 Open Sets, Closed Sets . . . . . . . . . . . . . . . . . . 73
4.2 Further Properties . . . . . . . . . . . . . . . . . . . . . . . . 76
4.2.1 Complete Sets, Compact Sets . . . . . . . . . . . . . . 77
4.2.2 Convergence of Functions . . . . . . . . . . . . . . . . 81
4.2.3 Optimization and Fixed Points . . . . . . . . . . . . . 82
5 Introduction to Dynamics 89
5.1 Deterministic Dynamical Systems . . . . . . . . . . . . . . . . 89
5.1.1 The Basic Model . . . . . . . . . . . . . . . . . . . . . 89
5.1.2 Chaotic Dynamic Systems . . . . . . . . . . . . . . . . 98
5.1.3 Equivalent Dynamics and Linearization . . . . . . . . . 101
5.2 Finite State Markov Chains . . . . . . . . . . . . . . . . . . . 103
5.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . 103
5.2.2 Marginal Distributions . . . . . . . . . . . . . . . . . . 108
5.2.3 Other Identities . . . . . . . . . . . . . . . . . . . . . . 111
5.3 Stability of Finite State MCs . . . . . . . . . . . . . . . . . . 116
5.3.1 Stationary Distributions . . . . . . . . . . . . . . . . . 118
5.3.2 The Dobrushin Coefficient . . . . . . . . . . . . . . . . 122
5.3.3 Stability . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.3.4 The Law of Large Numbers . . . . . . . . . . . . . . . 130
6 Further Topics for Finite MCs 134
6.1 Further Properties . . . . . . . . . . . . . . . . . . . . . . . . 134
6.1.1 Constructing Joint Distributions . . . . . . . . . . . . . 134
6.1.2 MCs as SRSs . . . . . . . . . . . . . . . . . . . . . . . 138
6.1.3 The Coupling Method . . . . . . . . . . . . . . . . . . 142
6.2 Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
6.2.1 Outline of the Problem . . . . . . . . . . . . . . . . . . 145
6.2.2 Value Iteration . . . . . . . . . . . . . . . . . . . . . . 148
6.2.3 Policy Iteration . . . . . . . . . . . . . . . . . . . . . . 153
7 Stochastic Recursive Sequences 156
7.1 First Steps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
7.1.1 Basic Models and Simulation . . . . . . . . . . . . . . 156
7.1.2 Distribution Dynamics . . . . . . . . . . . . . . . . . . 161
7.1.3 Density Dynamics . . . . . . . . . . . . . . . . . . . . . 164
7.2 Application: Stochastic Speculative Price . . . . . . . . . . . . 172
7.2.1 The Model . . . . . . . . . . . . . . . . . . . . . . . . . 172
7.2.2 Solving the Model . . . . . . . . . . . . . . . . . . . . . 178
7.2.3 Dynamics of the Model . . . . . . . . . . . . . . . . . . 182
II Advanced Techniques 185
8 The Lebesgue Integral 186
8.1 A Crash Course in Measure Theory . . . . . . . . . . . . . . . 186
8.1.1 Lebesgue Measure on R . . . . . . . . . . . . . . . . . 186
8.1.2 Measurable Spaces . . . . . . . . . . . . . . . . . . . . 189
8.1.3 Lebesgue Measure in Rk . . . . . . . . . . . . . . . . . 191
8.2 The Lebesgue Integral . . . . . . . . . . . . . . . . . . . . . . 192
8.2.1 The Lebesgue Integral . . . . . . . . . . . . . . . . . . 192
8.2.2 Extensions and Properties . . . . . . . . . . . . . . . . 197
8.2.3 The space L1 . . . . . . . . . . . . . . . . . . . . . . . 200
9 Density Markov Chains 205
9.1 Set Up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
9.1.1 Stochastic Density Kernels . . . . . . . . . . . . . . . . 205
9.1.2 Connection with SRSs . . . . . . . . . . . . . . . . . . 208
9.1.3 The Markov Operator . . . . . . . . . . . . . . . . . . 213
9.2 Stability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
9.2.1 Outline of the Method . . . . . . . . . . . . . . . . . . 216
9.2.2 Applications . . . . . . . . . . . . . . . . . . . . . . . . 222
9.2.3 Computing Stationary Densities . . . . . . . . . . . . . 225
10 Measure Theoretic Probability 231
10.1 First Steps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
10.1.1 General Measures and Probabilities . . . . . . . . . . . 231
10.1.2 The General Integral . . . . . . . . . . . . . . . . . . . 236
10.1.3 Finishing Touches . . . . . . . . . . . . . . . . . . . . . 241
10.2 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . 246
10.2.1 Basic Definitions . . . . . . . . . . . . . . . . . . . . . 246
10.2.2 Distributions of Random Variables . . . . . . . . . . . 249
10.2.3 Densities . . . . . . . . . . . . . . . . . . . . . . . . . . 253
10.3 General State Markov Chains . . . . . . . . . . . . . . . . . . 255
10.3.1 Stochastic Kernels . . . . . . . . . . . . . . . . . . . . 255
10.3.2 The Fundamental Recursion, Again . . . . . . . . . . . 258
10.3.3 Expectations . . . . . . . . . . . . . . . . . . . . . . . 260
11 Stochastic Dynamic Programming 264
11.1 Basic Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
11.1.1 Statement of the Problem . . . . . . . . . . . . . . . . 265
11.1.2 Optimality . . . . . . . . . . . . . . . . . . . . . . . . . 267
11.1.3 Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
11.2 Numerical Methods . . . . . . . . . . . . . . . . . . . . . . . . 275
11.2.1 Value Iteration . . . . . . . . . . . . . . . . . . . . . . 275
11.2.2 Fitted Value Iteration . . . . . . . . . . . . . . . . . . 278
11.2.3 Application: Optimal Growth . . . . . . . . . . . . . . 281
11.2.4 Policy Iteration . . . . . . . . . . . . . . . . . . . . . . 285
12 More Stochastic Dynamic Programming 289
12.1 Monotonicity . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
12.1.1 Increasing Differences . . . . . . . . . . . . . . . . . . . 289
12.1.2 Monotone Policies . . . . . . . . . . . . . . . . . . . . . 292
12.1.3 Monotone Markov Chains . . . . . . . . . . . . . . . . 294
12.2 Concavity and Differentiability . . . . . . . . . . . . . . . . . . 295
12.2.1 Concavity . . . . . . . . . . . . . . . . . . . . . . . . . 296
12.2.2 The Euler Equation . . . . . . . . . . . . . . . . . . . . 298
12.2.3 Optimal Growth Dynamics . . . . . . . . . . . . . . . . 303
12.3 Unbounded Rewards . . . . . . . . . . . . . . . . . . . . . . . 308
12.3.1 Weighted Supremum Norms . . . . . . . . . . . . . . . 308
12.3.2 Results and Applications . . . . . . . . . . . . . . . . . 311
12.3.3 Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
13 Further Theory of General State MCs 319
13.1 Notions of Convergence . . . . . . . . . . . . . . . . . . . . . . 319
13.1.1 Convergence of Random Variables . . . . . . . . . . . . 319
13.1.2 Weak Convergence . . . . . . . . . . . . . . . . . . . . 323
13.1.3 Convergence in Total Variation . . . . . . . . . . . . . 326
13.2 Markov Chains as Stochastic Processes . . . . . . . . . . . . . 326
13.2.1 First Steps . . . . . . . . . . . . . . . . . . . . . . . . . 327
13.2.2 Joint Distributions of Stochastic Processes . . . . . . . 328
13.2.3 Back to Markov Chains . . . . . . . . . . . . . . . . . 331
14 Dynamics of General State MCs 333
14.1 Existence of Stationary Distributions . . . . . . . . . . . . . . 333
14.1.1 Existence for Feller Chains . . . . . . . . . . . . . . . . 335
14.1.2 Noncompact State Space . . . . . . . . . . . . . . . . . 339
14.2 Stability in the General State Case . . . . . . . . . . . . . . . 342
14.2.1 Classical Theory of MCs . . . . . . . . . . . . . . . . . 342
14.2.2 Sample Path Properties . . . . . . . . . . . . . . . . . 343
A Chapter Appendices 344
A.1 Appendix to Chapter 4 . . . . . . . . . . . . . . . . . . . . . . 344
A.2 Appendix to Chapter 5 . . . . . . . . . . . . . . . . . . . . . . 347
A.3 Appendix to Chapter 6 . . . . . . . . . . . . . . . . . . . . . . 348
A.4 Appendix to Chapter 9 . . . . . . . . . . . . . . . . . . . . . . 349
A.5 Appendix to Chapter 11 . . . . . . . . . . . . . . . . . . . . . 352
A.6 Appendix to Chapter 12 . . . . . . . . . . . . . . . . . . . . . 353