Stochastics   Introduction to Probability and Statistics

Hans-Otto Georgii

Translated by  Marcel Ortgiese, Ellen Baake and the author

Publisher: Walter de Gruyter; 1 edition (February 27, 2008)
Language: English
ISBN-10: 3110191458
ISBN-13: 978-3110191455

Preface v
Mathematics and Chance 1
I Probability Theory 5
1 Principles of Modelling Chance 7
1.1 Probability Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 Properties and Construction of Probability Measures . . . . . . . . . . 14
1.3 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2 Stochastic Standard Models 26
2.1 TheUniformDistributions . . . . . . . . . . . . . . . . . . . . . . . 26
2.2 Urn Models with Replacement . . . . . . . . . . . . . . . . . . . . . 29
2.3 Urn Models without Replacement . . . . . . . . . . . . . . . . . . . 34
2.4 ThePoissonDistribution . . . . . . . . . . . . . . . . . . . . . . . . 37
2.5 Waiting Time Distributions . . . . . . . . . . . . . . . . . . . . . . . 39
2.6 TheNormalDistributions . . . . . . . . . . . . . . . . . . . . . . . . 44
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3 Conditional Probabilities and Independence 50
3.1 Conditional Probabilities . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2 Multi-Stage Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.3 Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.4 Existence of Independent Random Variables, Product Measures . . . . 69
3.5 ThePoissonProcess . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.6 Simulation Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
3.7 TailEvents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
viii Contents
4 Expectation and Variance 90
4.1 TheExpectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.2 Waiting Time Paradox and Fair Price of an Option . . . . . . . . . . . 98
4.3 Variance andCovariance . . . . . . . . . . . . . . . . . . . . . . . . 105
4.4 GeneratingFunctions . . . . . . . . . . . . . . . . . . . . . . . . . . 108
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5 The Law of Large Numbers and the Central Limit Theorem 117
5.1 TheLawofLargeNumbers . . . . . . . . . . . . . . . . . . . . . . . 117
5.2 NormalApproximationofBinomialDistributions . . . . . . . . . . . 129
5.3 TheCentralLimitTheorem . . . . . . . . . . . . . . . . . . . . . . . 136
5.4 Normal versusPoissonApproximation . . . . . . . . . . . . . . . . . 141
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
6 MarkovChains 149
6.1 TheMarkovProperty . . . . . . . . . . . . . . . . . . . . . . . . . . 149
6.2 Absorption Probabilities . . . . . . . . . . . . . . . . . . . . . . . . 152
6.3 AsymptoticStationarity . . . . . . . . . . . . . . . . . . . . . . . . . 157
6.4 Recurrence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
II Statistics 185
7 Estimation 187
7.1 TheApproachofStatistics . . . . . . . . . . . . . . . . . . . . . . . 187
7.2 FacingtheChoice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
7.3 The Maximum Likelihood Principle . . . . . . . . . . . . . . . . . . 195
7.4 Bias andMeanSquaredError . . . . . . . . . . . . . . . . . . . . . . 201
7.5 BestEstimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
7.6 ConsistentEstimators . . . . . . . . . . . . . . . . . . . . . . . . . . 209
7.7 BayesEstimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
8 Confidence Regions 222
8.1 Definition and Construction . . . . . . . . . . . . . . . . . . . . . . . 222
8.2 Confidence Intervals in theBinomialModel . . . . . . . . . . . . . . 228
8.3 Order Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
Contents ix
9 Around the Normal Distributions 241
9.1 TheMultivariateNormalDistributions . . . . . . . . . . . . . . . . . 241
9.2 The χ2-, F- and t-Distributions . . . . . . . . . . . . . . . . . . . . . 244
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
10 Hypothesis Testing 255
10.1 Decision Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
10.2 Neyman–PearsonTests . . . . . . . . . . . . . . . . . . . . . . . . . 261
10.3 MostPowerfulOne-SidedTests . . . . . . . . . . . . . . . . . . . . . 266
10.4 Parameter Tests in the Gaussian Product Model . . . . . . . . . . . . 269
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
11 Asymptotic Tests and Rank Tests 283
11.1 NormalApproximationofMultinomialDistributions . . . . . . . . . 283
11.2 The Chi-Square Test of Goodness of Fit . . . . . . . . . . . . . . . . 290
11.3 TheChi-SquareTest of Independence . . . . . . . . . . . . . . . . . 297
11.4 Order andRankTests . . . . . . . . . . . . . . . . . . . . . . . . . . 303
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
12 Regression Models and Analysis of Variance 318
12.1 SimpleLinearRegression . . . . . . . . . . . . . . . . . . . . . . . . 318
12.2 TheLinearModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
12.3 TheGaussianLinearModel . . . . . . . . . . . . . . . . . . . . . . . 326
12.4 AnalysisofVariance . . . . . . . . . . . . . . . . . . . . . . . . . . 334
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
Tables 349
References 355
List of Notation 359
Index 363