[下载]Notes on Statistical inference with R

3313

收藏 2008-11-20

注：附件两个文件是相同的，请下载一个即可。
Statistical inference note
Printed at the university of England
Contents
1 Estimation 4
1.1 Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.1 Examples of Statistics . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Estimation by the Method of Moments . . . . . . . . . . . . . . . . . . . . 8
1.3 Estimation by the Method of Maximum Likelihood . . . . . . . . . . . . . 12
1.4 Properties of Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.5 Examples of Estimators and their Properties . . . . . . . . . . . . . . . . . 19
1.6 Properties of Maximum Likelihood Estimators . . . . . . . . . . . . . . . . 21
1.7 Confidence Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.7.1 Pivotal quantity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.8 Bayesian estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.8.1 Bayes’ theorem for random variables . . . . . . . . . . . . . . . . . 28
1.8.2 Post is prior × likelihood . . . . . . . . . . . . . . . . . . . . . . . . 28
1.8.3 Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.8.4 Prior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.8.5 Posterior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
1.9 Normal Prior and Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.10 Bootstrap Confidence Intervals . . . . . . . . . . . . . . . . . . . . . . . . 36
1.10.1 The empirical cumulative distribution function. . . . . . . . . . . . 36
2 Hypothesis Testing 40
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.2 Terminology and Notation. . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2.1 Hypotheses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2.2 Tests of Hypotheses . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2.3 Size and Power of Tests . . . . . . . . . . . . . . . . . . . . . . . . 42
2.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.4 One-sided and Two-sided Tests . . . . . . . . . . . . . . . . . . . . . . . . 47
2.4.1 Case(a) Alternative is one-sided . . . . . . . . . . . . . . . . . . . 48
2.4.2 Case (b) Two-sided Alternative . . . . . . . . . . . . . . . . . . . . 48
2.4.3 Two Approaches to Hypothesis Testing . . . . . . . . . . . . . . . . 50
2.5 Two-Sample Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3
2.6 Connection between Hypothesis testing and CI’s . . . . . . . . . . . . . . . 55
2.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
2.8 Bayesian Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.8.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.8.2 Bayesian approach . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.9 Non-Parametric Hypothesis testing. . . . . . . . . . . . . . . . . . . . . . . 61
2.9.1 Kolmogorov-Smirnov (KS) . . . . . . . . . . . . . . . . . . . . . . . 61
2.9.2 Asymptotic distribution . . . . . . . . . . . . . . . . . . . . . . . . 62
2.9.3 Bootstrap Hypothesis Tests . . . . . . . . . . . . . . . . . . . . . . 65
3 Chi–square Distribution 67
3.1 Distribution of S2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.2 Chi-Square Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.3 Independence of X and S2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.4 Confidence Intervals for 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.5 Testing Hypotheses about 2 . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.6 2 and Inv-2 distributions in Bayesian inference . . . . . . . . . . . . . . 79
3.6.1 Non-informative priors . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.7 The posterior distribution of the Normal variance . . . . . . . . . . . . . . 80
3.7.1 Inverse Chi-squared distribution . . . . . . . . . . . . . . . . . . . . 81
3.8 Relationship between 2
and Inv-2
. . . . . . . . . . . . . . . . . . . . . . 82
3.8.1 Gamma and Inverse Gamma . . . . . . . . . . . . . . . . . . . . . . 82
3.8.2 Chi-squared and Inverse Chi-squared . . . . . . . . . . . . . . . . . 82
3.8.3 Simulating Inverse Gamma and Inverse-2 random variables. . . . . 82
4 F Distribution 85
4.1 Derivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.2 Properties of the F distribution . . . . . . . . . . . . . . . . . . . . . . . . 86
4.3 Use of F-Distribution in Hypothesis Testing . . . . . . . . . . . . . . . . . 89
4.4 Pooling Sample Variances . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.5 Confidence Interval for 2
1/2
2 . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.6 Comparing parametric and bootstrap confidence intervals for 2
1/2
2 . . . . 94
5 t-Distribution 96
5.1 Derivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.2 Properties of the t–Distribution . . . . . . . . . . . . . . . . . . . . . . . . 97
5.3 Use of t–Distribution in Interval Estimation . . . . . . . . . . . . . . . . . 99
5.4 Use of t-distribution in Hypothesis Testing . . . . . . . . . . . . . . . . . . 104
5.5 Paired-sample t-test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.6 Bootstrap T-intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
6 Analysis of Count Data 115
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
6.2 Goodness–of–Fit Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
6.3 Contingency Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.3.1 Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.4 Special Case: 2 × 2 Contingency Table . . . . . . . . . . . . . . . . . . . . 129
6.5 Fisher’s Exact Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
6.6 Parametric Bootstrap-X2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
7 Analysis of Variance 138
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
7.2 The Basic Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
7.3 Single Factor Analysis of Variance . . . . . . . . . . . . . . . . . . . . . . . 140
7.4 Estimation of Means and Confidence Intervals . . . . . . . . . . . . . . . . 148
7.5 Assumptions Underlying the Analysis of Variance . . . . . . . . . . . . . . 149
7.5.1 Tests for Equality of Variance . . . . . . . . . . . . . . . . . . . . . 150
7.6 Estimating the Common Mean . . . . . . . . . . . . . . . . . . . . . . . . 152
8 Simple Linear Regression 153
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
8.2 Estimation of and . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
8.3 Estimation of 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
8.4 Inference about ˆ , and μY . . . . . . . . . . . . . . . . . . . . . . . . . . 161
8.5 Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166

附件列表

268757.pdf