Contents
1 Discrete Probability Distributions 1
1.1 Simulation of Discrete Probabilities . . . . . . . . . . . . . . . . . . . 1
1.2 Discrete Probability Distributions . . . . . . . . . . . . . . . . . . . . 18
2 Continuous Probability Densities 41
2.1 Simulation of Continuous Probabilities . . . . . . . . . . . . . . . . . 41
2.2 Continuous Density Functions . . . . . . . . . . . . . . . . . . . . . . 55
3 Combinatorics 75
3.1 Permutations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.2 Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
3.3 Card Shu²ing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
4 Conditional Probability 133
4.1 Discrete Conditional Probability . . . . . . . . . . . . . . . . . . . . 133
4.2 Continuous Conditional Probability . . . . . . . . . . . . . . . . . . . 162
4.3 Paradoxes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
5 Distributions and Densities 183
5.1 Important Distributions . . . . . . . . . . . . . . . . . . . . . . . . . 183
5.2 Important Densities . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
6 Expected Value and Variance 225
6.1 Expected Value . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
6.2 Variance of Discrete Random Variables . . . . . . . . . . . . . . . . . 257
6.3 Continuous Random Variables . . . . . . . . . . . . . . . . . . . . . . 268
7 Sums of Random Variables 285
7.1 Sums of Discrete Random Variables . . . . . . . . . . . . . . . . . . 285
7.2 Sums of Continuous Random Variables . . . . . . . . . . . . . . . . . 291
8 Law of Large Numbers 305
8.1 Discrete Random Variables . . . . . . . . . . . . . . . . . . . . . . . 305
8.2 Continuous Random Variables . . . . . . . . . . . . . . . . . . . . . . 316
v
vi CONTENTS
9 Central Limit Theorem 325
9.1 Bernoulli Trials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
9.2 Discrete Independent Trials . . . . . . . . . . . . . . . . . . . . . . . 340
9.3 Continuous Independent Trials . . . . . . . . . . . . . . . . . . . . . 355
10 Generating Functions 365
10.1 Discrete Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . 365
10.2 Branching Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
10.3 Continuous Densities . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
11 Markov Chains 405
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
11.2 Absorbing Markov Chains . . . . . . . . . . . . . . . . . . . . . . . . 415
11.3 Ergodic Markov Chains . . . . . . . . . . . . . . . . . . . . . . . . . 433
11.4 Fundamental Limit Theorem . . . . . . . . . . . . . . . . . . . . . . 447
11.5 Mean First Passage Time . . . . . . . . . . . . . . . . . . . . . . . . 452
12 Random Walks 471
12.1 Random Walks in Euclidean Space . . . . . . . . . . . . . . . . . . . 471
12.2 Gambler's Ruin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486
12.3 Arc Sine Laws . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
Appendices 499
A Normal Distribution Table . . . . . . . . . . . . . . . . . . . . . . . . 499
B Galton's Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .