By Liese and Miescke, Published by Springer, 2008.

Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . VI
1 Statistical Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Exponential Families . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Priors and Conjugate Priors for Exponential Families . . . . . . . . 16
1.3 Divergences in Binary Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.4 Information in Bayes Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
1.5 L2-Differentiability, Fisher Information . . . . . . . . . . . . . . . . . . . . . 58
1.6 Solutions to Selected Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2 Tests in Models with Monotonicity Properties . . . . . . . . . . . . . 75
2.1 Stochastic Ordering and Monotone Likelihood Ratio . . . . . . . . . 75
2.2 Tests in Binary Models and Models with MLR . . . . . . . . . . . . . . 83
2.3 Solutions to Selected Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
3 Statistical Decision Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
3.1 Decisions in Statistical Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
3.2 Convergence of Decisions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
3.3 Continuity Properties of the Risk . . . . . . . . . . . . . . . . . . . . . . . . . . 118
3.4 Minimum Average Risk, Bayes Risk, Posterior Risk . . . . . . . . . . 121
3.5 Bayes and Minimax Decisions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
3.6 Γ-Minimax Decisions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
3.7 Minimax Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
3.8 Complete Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
3.9 Solutions to Selected Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
4 Comparison of Models, Reduction by Sufficiency . . . . . . . . . . 156
4.1 Comparison and Randomization of Models . . . . . . . . . . . . . . . . . . 156
4.2 Comparison of Finite Models by Standard Distributions . . . . . . 166
4.3 Sufficiency in Dominated Models . . . . . . . . . . . . . . . . . . . . . . . . . . 177
4.4 Completeness, Ancillarity, and Minimal Sufficiency . . . . . . . . . . 188
4.5 Solutions to Selected Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
XVI Contents
5 Invariant Statistical Decision Models . . . . . . . . . . . . . . . . . . . . . . 198
5.1 Invariant Models and Invariant Statistics . . . . . . . . . . . . . . . . . . . 198
5.2 Invariant Decision Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
5.3 Hunt–Stein Theorem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
5.4 Equivariant Estimators, Girshick–Savage Theorem . . . . . . . . . . . 222
5.5 Solutions to Selected Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
6 Large Sample Approximations of Models and Decisions . . . . 235
6.1 Distances of Statistical Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
6.2 Convergence of Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
6.3 Weak Convergence of Binary Models . . . . . . . . . . . . . . . . . . . . . . . 248
6.4 Asymptotically Normal Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
6.4.1 Gaussian Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
6.4.2 The LAN and ULAN Property . . . . . . . . . . . . . . . . . . . . . . 269
6.5 Asymptotic Lower Risk Bounds, H´ajek–LeCam Bound . . . . . . . 281
6.6 Solutions to Selected Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
7 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
7.1 Lower Information Bounds in Estimation Problems . . . . . . . . . . 293
7.2 Unbiased Estimators with Minimal Risk . . . . . . . . . . . . . . . . . . . . 301
7.3 Bayes and Generalized Bayes Estimators . . . . . . . . . . . . . . . . . . . 309
7.4 Admissibility of Estimators, Shrinkage Estimators . . . . . . . . . . . 315
7.5 Consistency of Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
7.5.1 Consistency of M-Estimators and MLEs . . . . . . . . . . . . . 319
7.5.2 Consistency in Bayes Models . . . . . . . . . . . . . . . . . . . . . . . . 347
7.6 Asymptotic Distributions of Estimators . . . . . . . . . . . . . . . . . . . . 359
7.6.1 Asymptotic Distributions of M-Estimators . . . . . . . . . . . 359
7.6.2 Asymptotic Distributions of MLEs . . . . . . . . . . . . . . . . . . 374
7.6.3 Asymptotic Normality of the Posterior . . . . . . . . . . . . . . . 379
7.7 Local Asymptotic Optimality of MLEs . . . . . . . . . . . . . . . . . . . . . 386
7.8 Solutions to Selected Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
8 Testing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406
8.1 Best Tests for Exponential Families . . . . . . . . . . . . . . . . . . . . . . . 406
8.1.1 Tests for One–Parameter Exponential Families . . . . . . . . 406
8.1.2 Tests in Multivariate Normal Distributions . . . . . . . . . . . 417
8.1.3 Tests for d-Parameter Exponential Families . . . . . . . . . . . 420
8.2 Confidence Regions and Confidence Bounds . . . . . . . . . . . . . . . . . 431
8.3 Bayes Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437
8.4 Uniformly Best Invariant Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443
8.5 Exponential Rates of Error Probabilities . . . . . . . . . . . . . . . . . . . . 450
8.6 U-Statistics and Rank Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . 454
8.7 Statistics with Estimated Parameters . . . . . . . . . . . . . . . . . . . . . . 470
8.8 Asymptotic Null Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473
8.9 Locally Asymptotically Optimal Tests . . . . . . . . . . . . . . . . . . . . . . 485
Contents XVII
8.9.1 Testing of Univariate Parameters . . . . . . . . . . . . . . . . . . . . 485
8.9.2 Testing of Multivariate Parameters . . . . . . . . . . . . . . . . . . 503
8.10 Solutions to Selected Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510
9 Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516
9.1 The Selection Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516
9.2 Optimal Point Selections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520
9.2.1 Point Selections, Loss, and Risk . . . . . . . . . . . . . . . . . . . . . 520
9.2.2 Point Selections in Balanced Models . . . . . . . . . . . . . . . . . 528
9.2.3 Point Selections in Unbalanced Models . . . . . . . . . . . . . . . 536
9.2.4 Point Selections with Estimation . . . . . . . . . . . . . . . . . . . . 542
9.3 Optimal Subset Selections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547
9.3.1 Subset Selections, Loss, and Risk . . . . . . . . . . . . . . . . . . . . 547
9.3.2 Γ-Minimax Subset Selections . . . . . . . . . . . . . . . . . . . . . . . 556
9.4 Optimal Multistage Selections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561
9.4.1 Common Sample Size per Stage and Hard Elimination . 561
9.4.2 Bayes Sampling Designs for Adaptive Sampling . . . . . . . 582
9.5 Asymptotically Optimal Point Selections . . . . . . . . . . . . . . . . . . . 587
9.5.1 Exponential Rate of Error Probabilities . . . . . . . . . . . . . . 587
9.5.2 Locally Asymptotically Optimal Point Selections . . . . . . 592
9.5.3 Rank Selection Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 607
9.6 Solutions to Selected Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609
A Appendix:
Topics from Analysis, Measure Theory, and Probability
Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615
A.1 Topics from Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615
A.2 Topics from Measure Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617
A.3 Topics from Probability Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . 623
B Appendix:
Common Notation and Distributions . . . . . . . . . . . . . . . . . . . . . . 631
B.1 Common Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631
B.2 Common Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 635
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 640
Author Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663
Subject Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 668[attach]1334248