Springer Series in Statistics
2010 A Comparison of the Bayesian and Frequentist Approaches to Estimation

Author
Francisco J. Samaniego
Department of Statistics
University of California

USA

Contents
1 Point Estimation from a Decision-Theoretic Viewpoint . . . . . . . . . . . . . 1
1.1 Tennis anyone? A glimpse at Game Theory . . . . . . . . . . . . . . . . . . . . . 1
1.2 Experimental data, decision rules and the risk function . . . . . . . . . . . 4
1.3 Point estimation as a decision problem; approaches to optimization . 7
2 An Overview of the Frequentist Approach to Estimation . . . . . . . . . . . . 15
2.1 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2 Minimum variance unbiased estimators . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3 Best linear unbiased estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.4 Best invariant estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.5 Some comments on estimation within restricted classes . . . . . . . . . . . 23
2.6 Estimators motivated by their behavior in large samples . . . . . . . . . . 25
2.7 Robust estimators of a population parameter . . . . . . . . . . . . . . . . . . . . 30
3 An Overview of the Bayesian Approach to Estimation . . . . . . . . . . . . . . 33
3.1 Bayes’ Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2 The subjectivist view of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.3 The Bayesian paradigm for data analysis . . . . . . . . . . . . . . . . . . . . . . . 39
3.4 The Bayes risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.5 The class of Bayes and “almost Bayes” rules . . . . . . . . . . . . . . . . . . . . 44
3.6 The likelihood principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.7 Conjugate prior distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.8 Bayesian robustness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.9 Bayesian asymptotics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.10 Bayesian computation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.11 Bayesian interval estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4 The Threshold Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.1 Traditional approaches to comparing Bayes and frequentist estimators 61
4.1.1 Logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.1.2 Objectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
XII Contents
4.1.3 Asymptotics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.1.4 Ease of application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.1.5 Admissibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.1.6 The treatment of high-dimensional parameters . . . . . . . . . . . . 68
4.1.7 Shots across the bow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.2 Modeling the true state of nature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.3 A criterion for comparing estimators . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.4 The threshold problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5 Comparing Bayesian and Frequentist Estimators of a Scalar
Parameter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.2 The word-length experiment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.3 A theoretical framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5.4 Empirical results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.5 Potpourri . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
6 Conjugacy, Self-Consistency and Bayesian Consensus . . . . . . . . . . . . . . 99
6.1 Another look at conjugacy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
6.2 Bayesian self-consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
6.3 An approach to the consensus problem . . . . . . . . . . . . . . . . . . . . . . . . . 108
7 Bayesian vs. Frequentist Shrinkage in Multivariate Normal Problems 115
7.1 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
7.2 A solution to the threshold problem . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
7.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
8 Comparing Bayesian and Frequentist Estimators under Asymmetric
Loss . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
8.2 Estimating the mean of a normal distribution under Linex loss . . . . . 124
8.3 Estimating a linear combination of regression parameters . . . . . . . . . 128
8.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
9 The Treatment of Nonidentifiable Models . . . . . . . . . . . . . . . . . . . . . . . . . 135
9.1 The classical viewpoint. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
9.2 The Bayesian treatment of nonidentifiability . . . . . . . . . . . . . . . . . . . . 137
9.3 Estimation for a nonidentifiable binomial model . . . . . . . . . . . . . . . . . 138
9.4 On the efficacy of Bayesian updating in the binomial model . . . . . . . 141
9.5 On the efficacy of Bayesian updating in the nonparametric
competing risks problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
9.6 Bayesian estimation of a nonidentifiable parameter in a reliability
context . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
Contents XIII
10 Improving on Standard Bayesian and Frequentist Estimators . . . . . . . 157
10.1 The empirical Bayes framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
10.2 How to be a better Bayesian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
10.3 How to be a finer frequentist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
11 Combining Data from “Related” Experiments . . . . . . . . . . . . . . . . . . . . . 173
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
11.2 A linear Bayesian approach to treating related experiments. . . . . . . . 177
11.3 Modeling and linear Bayesian inference for data from related life
testing experiments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
11.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
12 Fatherly Advice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
12.1 Where do I get off? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
12.2 An overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
12.3 Implications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
12.4 Desiderata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221