1 Mathematical Preliminaries 5

1.1 Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.2 Counting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.3 Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

1.4 Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

1.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

2 Probability 17

2.1 Interpretations of Probability . . . . . . . . . . . . . . . . . . 17

2.2 Axioms of Probability . . . . . . . . . . . . . . . . . . . . . . 18

2.3 Finite Sample Spaces . . . . . . . . . . . . . . . . . . . . . . . 26

2.4 Conditional Probability . . . . . . . . . . . . . . . . . . . . . 32

2.5 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . 43

2.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

3 Discrete Random Variables 55

3.1 Basic Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . 55

3.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

3.3 Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

3.4 Binomial Distributions . . . . . . . . . . . . . . . . . . . . . . 72

3.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

4 Continuous Random Variables 81

4.1 A Motivating Example . . . . . . . . . . . . . . . . . . . . . . 81

4.2 Basic Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . 85

4.3 Elementary Examples . . . . . . . . . . . . . . . . . . . . . . 88

4.4 Normal Distributions . . . . . . . . . . . . . . . . . . . . . . . 93

4.5 Normal Sampling Distributions . . . . . . . . . . . . . . . . . 97

1

4.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

5 Quantifying Population Attributes 105

5.1 Symmetry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

5.2 Quantiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

5.2.1 The Median of a Population . . . . . . . . . . . . . . . 111

5.2.2 The Interquartile Range of a Population . . . . . . . . 112

5.3 The Method of Least Squares . . . . . . . . . . . . . . . . . . 112

5.3.1 The Mean of a Population . . . . . . . . . . . . . . . . 113

5.3.2 The Standard Deviation of a Population . . . . . . . . 114

5.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

6 Sums and Averages of Random Variables 117

6.1 The Weak Law of Large Numbers . . . . . . . . . . . . . . . . 118

6.2 The Central Limit Theorem . . . . . . . . . . . . . . . . . . . 120

6.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

7 Data 129

7.1 The Plug-In Principle . . . . . . . . . . . . . . . . . . . . . . 130

7.2 Plug-In Estimates of Mean and Variance . . . . . . . . . . . . 132

7.3 Plug-In Estimates of Quantiles . . . . . . . . . . . . . . . . . 134

7.3.1 Box Plots . . . . . . . . . . . . . . . . . . . . . . . . . 135

7.3.2 Normal Probability Plots . . . . . . . . . . . . . . . . 137

7.4 Density Estimates . . . . . . . . . . . . . . . . . . . . . . . . 140

7.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143

8 Inference 147

8.1 A Motivating Example . . . . . . . . . . . . . . . . . . . . . . 148

8.2 Point Estimation . . . . . . . . . . . . . . . . . . . . . . . . . 150

8.2.1 Estimating a Population Mean . . . . . . . . . . . . . 150

8.2.2 Estimating a Population Variance . . . . . . . . . . . 152

8.3 Heuristics of Hypothesis Testing . . . . . . . . . . . . . . . . 152

8.4 Testing Hypotheses About a Population Mean . . . . . . . . . 162

8.5 Set Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . 170

8.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175

9 1-Sample Location Problems 179

9.1 The Normal 1-Sample Location Problem . . . . . . . . . . . . 181

9.1.1 Point Estimation . . . . . . . . . . . . . . . . . . . . . 181

9.1.2 Hypothesis Testing . . . . . . . . . . . . . . . . . . . . 181

9.1.3 Interval Estimation . . . . . . . . . . . . . . . . . . . . 186

9.2 The General 1-Sample Location Problem . . . . . . . . . . . . 189

9.2.1 Point Estimation . . . . . . . . . . . . . . . . . . . . . 189

9.2.2 Hypothesis Testing . . . . . . . . . . . . . . . . . . . . 189

9.2.3 Interval Estimation . . . . . . . . . . . . . . . . . . . . 192

9.3 The Symmetric 1-Sample Location Problem . . . . . . . . . . 194

9.3.1 Hypothesis Testing . . . . . . . . . . . . . . . . . . . . 194

9.3.2 Point Estimation . . . . . . . . . . . . . . . . . . . . . 197

9.3.3 Interval Estimation . . . . . . . . . . . . . . . . . . . . 198

9.4 A Case Study from Neuropsychology . . . . . . . . . . . . . . 200

9.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

10 2-Sample Location Problems 203

10.1 The Normal 2-Sample Location Problem . . . . . . . . . . . . 206

10.1.1 Known Variances . . . . . . . . . . . . . . . . . . . . . 207

10.1.2 Equal Variances . . . . . . . . . . . . . . . . . . . . . 208

10.1.3 The Normal Behrens-Fisher Problem . . . . . . . . . . 210

10.2 The 2-Sample Location Problem for a General Shift Family . 212

10.3 The Symmetric Behrens-Fisher Problem . . . . . . . . . . . . 212

10.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212

11 k-Sample Location Problems 213

11.1.1 The Analysis of Variance . . . . . . . . . . . . . . . . 213

11.1.2 Planned Comparisons . . . . . . . . . . . . . . . . . . 218

11.1.3 Post Hoc Comparisons . . . . . . . . . . . . . . . . . . 223

11.2.1 The Kruskal-Wallis Test . . . . . . . . . . . . . . . . . 225

11.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225