Contents

Preface . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . VII
Notation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . XVII

1 Stochastic Processes and Stochastic Differential
Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Elements of probability and random variables . . . . . . . . . . . . . 1
1.1.1 Mean, variance, and moments . . . . . . . . . . . . . . . . . . . . 2
1.1.2 Change of measure and Radon-Nikod´ym derivative . . 4
1.2 Random number generation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 The Monte Carlo method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 Variance reduction techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4.1 Preferential sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.4.2 Control variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4.3 Antithetic sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.5 Generalities of stochastic processes . . . . . . . . . . . . . . . . . . . . . . . 14
1.5.1 Filtrations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.5.2 Simple and quadratic variation of a process . . . . . . . . 15
1.5.3 Moments, covariance, and increments of stochastic
processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.5.4 Conditional expectation . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.5.5 Martingales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.6 Brownian motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.6.1 Brownian motion as the limit of a random walk . . . . . 20
1.6.2 Brownian motion as L2[0, T] expansion . . . . . . . . . . . . 22
1.6.3 Brownian motion paths are nowhere differentiable . . 24
1.7 Geometric Brownian motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.8 Brownian bridge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.9 Stochastic integrals and stochastic differential equations . . . . 29
1.9.1 Properties of the stochastic integral and
Itˆo processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

1.10 Diffusion processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.10.1 Ergodicity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.10.2 Markovianity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.10.3 Quadratic variation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
1.10.4 Infinitesimal generator of a diffusion process . . . . . . . . 37
1.10.5 How to obtain a martingale from a diffusion process . 37
1.11 Itˆo formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.11.1 Orders of differentials in the Itˆo formula . . . . . . . . . . . 38
1.11.2 Linear stochastic differential equations . . . . . . . . . . . . 39
1.11.3 Derivation of the SDE for the geometric Brownian
motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.11.4 The Lamperti transform . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.12 Girsanov’s theorem and likelihood ratio for
diffusion processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.13 Some parametric families of stochastic processes . . . . . . . . . . . 43
1.13.1 Ornstein-Uhlenbeck or Vasicek process . . . . . . . . . . . . 43
1.13.2 The Black-Scholes-Merton or geometric Brownian
motion model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
1.13.3 The Cox-Ingersoll-Ross model . . . . . . . . . . . . . . . . . . . . 47
1.13.4 The CKLS family of models . . . . . . . . . . . . . . . . . . . . . . 49
1.13.5 The modified CIR and hyperbolic processes . . . . . . . . 49
1.13.6 The hyperbolic processes . . . . . . . . . . . . . . . . . . . . . . . . 50
1.13.7 The nonlinear mean reversion A¨ıt-Sahalia model . . . . 50
1.13.8 Double-well potential . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
1.13.9 The Jacobi diffusion process . . . . . . . . . . . . . . . . . . . . . . 51
1.13.10 Ahn and Gao model or inverse of Feller’s square
root model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
1.13.11 Radial Ornstein-Uhlenbeck process . . . . . . . . . . . . . . . . 52
1.13.12 Pearson diffusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
1.13.13 Another classification of linear stochastic systems . . . 54
1.13.14 One epidemic model . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
1.13.15 The stochastic cusp catastrophe model . . . . . . . . . . . . 57
1.13.16 Exponential families of diffusions . . . . . . . . . . . . . . . . . 58
1.13.17 Generalized inverse gaussian diffusions . . . . . . . . . . . . . 59
2 Numerical Methods for SDE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.1 Euler approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.1.1 A note on code vectorization . . . . . . . . . . . . . . . . . . . . . 63
2.2 Milstein scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
2.3 Relationship between Milstein and Euler schemes . . . . . . . . . . 66
2.3.1 Transform of the geometric Brownian motion . . . . . . . 68
2.3.2 Transform of the Cox-Ingersoll-Ross process . . . . . . . . 68
2.4 Implementation of Euler and Milstein schemes:
the sde.sim function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.4.1 Example of use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

2.5 The constant elasticity of variance process
and strange paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
2.6 Predictor-corrector method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
2.7 Strong convergence for Euler and Milstein schemes . . . . . . . . . 74
2.8 KPS method of strong order
 = 1.5 . . . . . . . . . . . . . . . . . . . . . 77
2.9 Second Milstein scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
2.10 Drawing from the transition density . . . . . . . . . . . . . . . . . . . . . . 82
2.10.1 The Ornstein-Uhlenbeck or Vasicek process . . . . . . . . 83
2.10.2 The Black and Scholes process . . . . . . . . . . . . . . . . . . . 83
2.10.3 The CIR process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
2.10.4 Drawing from one model of the previous classes . . . . . 84
2.11 Local linearization method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
2.11.1 The Ozaki method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
2.11.2 The Shoji-Ozaki method . . . . . . . . . . . . . . . . . . . . . . . . . 87
2.12 Exact sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
2.13 Simulation of diffusion bridges . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
2.13.1 The algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
2.14 Numerical considerations about the Euler scheme . . . . . . . . . . 101
2.15 Variance reduction techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
2.15.1 Control variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
2.16 Summary of the function sde.sim . . . . . . . . . . . . . . . . . . . . . . . . 105
2.17 Tips and tricks on simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
3 Parametric Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
3.1 Exact likelihood inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
3.1.1 The Ornstein-Uhlenbeck or Vasicek model . . . . . . . . . 113
3.1.2 The Black and Scholes or geometric Brownian motion
model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
3.1.3 The Cox-Ingersoll-Ross model . . . . . . . . . . . . . . . . . . . . 119
3.2 Pseudo-likelihood methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
3.2.1 Euler method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
3.2.2 Elerian method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
3.2.3 Local linearization methods . . . . . . . . . . . . . . . . . . . . . . 127
3.2.4 Comparison of pseudo-likelihoods . . . . . . . . . . . . . . . . . 128
3.3 Approximated likelihood methods . . . . . . . . . . . . . . . . . . . . . . . . 131
3.3.1 Kessler method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
3.3.2 Simulated likelihood method . . . . . . . . . . . . . . . . . . . . . 134
3.3.3 Hermite polynomials expansion of the likelihood . . . . 138
3.4 Bayesian estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
3.5 Estimating functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
3.5.1 Simple estimating functions . . . . . . . . . . . . . . . . . . . . . . 157
3.5.2 Algorithm 1 for simple estimating functions . . . . . . . . 164
3.5.3 Algorithm 2 for simple estimating functions . . . . . . . . 167
3.5.4 Martingale estimating functions . . . . . . . . . . . . . . . . . . 172
3.5.5 Polynomial martingale estimating functions . . . . . . . . 173

3.5.6 Estimating functions based on eigenfunctions . . . . . . . 178
3.5.7 Estimating functions based on transform functions . . 179
3.6 Discretization of continuous-time estimators . . . . . . . . . . . . . . . 179
3.7 Generalized method of moments . . . . . . . . . . . . . . . . . . . . . . . . . 182
3.7.1 The GMM algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
3.7.2 GMM, stochastic differential equations, and Euler
method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
3.8 What about multidimensional diffusion processes? . . . . . . . . . 190
4 Miscellaneous Topics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
4.1 Model identification via Akaike’s information criterion . . . . . . 191
4.2 Nonparametric estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
4.2.1 Stationary density estimation . . . . . . . . . . . . . . . . . . . . 198
4.2.2 Local-time and stationary density estimators . . . . . . . 201
4.2.3 Estimation of diffusion and drift coefficients . . . . . . . . 202
4.3 Change-point estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
4.3.1 Estimation of the change point with unknown drift . . 212
4.3.2 A famous example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
Appendix A: A brief excursus into R. . . . . . . . . . . . . . . . . . . . . . . . . 217
A.1 Typing into the R console . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
A.2 Assignments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
A.3 R vectors and linear algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
A.4 Subsetting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
A.5 Different types of objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
A.6 Expressions and functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
A.7 Loops and vectorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
A.8 Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
A.9 Time series objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
A.10 R Scripts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
A.11 Miscellanea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
Appendix B: The sde Package . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
BM . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . 234
cpoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
DBridge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
dcElerian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
dcEuler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
dcKessler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
dcOzaki . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
dcShoji . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
dcSim . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 241
DWJ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 243
EULERloglik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
gmm. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245

HPloglik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
ksmooth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
linear.mart.ef . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
rcBS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
rcCIR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 252
rcOU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  . . . . . . . . . . . . . . . . . . . . . . 253
rsCIR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 254
rsOU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
sde.sim. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 25
sdeAIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
SIMloglik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
simple.ef . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
simple.ef2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  . . . . . . . . . . . . . . . . . . . 279