Quasi-Likelihood And Its Application
a general approach to optimal parameter estimation
Springer Series in Statistics
CC Heyde
免费连接：ftp://sumin.in.ua/books/DVD-004/Heyde_C.C._Quasi-likelihood_and_its_application%5Bc%5D_a_general_approach_to_optimal_parameter_estimation_(1997)(en)(236s).pdf



Contents
Preface v
1 Introduction 1
1.1 The Brief . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.3 The Gauss-Markov Theorem . . . . . . . . . . . . . . . . . . . 3
1.4 Relationship with the Score Function . . . . . . . . . . . . . . . 6
1.5 The Road Ahead . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.6 The Message of the Book . . . . . . . . . . . . . . . . . . . . . 10
1.7 Exercise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2 The General Framework 11
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2 Fixed Sample Criteria . . . . . . . . . . . . . . . . . . . . . . . 11
2.3 Scalar Equivalences and Associated Results . . . . . . . . . . . 19
2.4 Wedderburn’s Quasi-Likelihood . . . . . . . . . . . . . . . . . . 21
2.4.1 The Framework . . . . . . . . . . . . . . . . . . . . . . . 21
2.4.2 Limitations . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.4.3 Generalized Estimating Equations . . . . . . . . . . . . 25
2.5 Asymptotic Criteria . . . . . . . . . . . . . . . . . . . . . . . . 26
2.6 A Semimartingale Model for Applications . . . . . . . . . . . . 30
2.7 Some Problem Cases for the Methodology . . . . . . . . . . . . 35
2.8 Complements and Exercises . . . . . . . . . . . . . . . . . . . . 38
3 An Alternative Approach: E-Sufficiency 43
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.2 Definitions and Notation . . . . . . . . . . . . . . . . . . . . . . 43
3.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.4 Complement and Exercise . . . . . . . . . . . . . . . . . . . . . 51
4 Asymptotic Confidence Zones of Minimum Size 53
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2 The Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.3 Confidence Zones: Theory . . . . . . . . . . . . . . . . . . . . . 56
4.4 Confidence Zones: Practice . . . . . . . . . . . . . . . . . . . . 60
4.5 On Best Asymptotic Confidence Intervals . . . . . . . . . . . . 62
4.5.1 Introduction and Results . . . . . . . . . . . . . . . . . 62
4.5.2 Proof of Theorem 4.1 . . . . . . . . . . . . . . . . . . . 64
4.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5 Asymptotic Quasi-Likelihood 69
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.2 The Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.3.1 Generalized Linear Model . . . . . . . . . . . . . . . . . 79
5.3.2 Heteroscedastic Autoregressive Model . . . . . . . . . . 79
5.3.3 Whittle Estimation Procedure . . . . . . . . . . . . . . 82
5.3.4 Addendum to the Example of Section 5.1 . . . . . . . . 87
5.4 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
6 Combining Estimating Functions 91
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
6.2 Composite Quasi-Likelihoods . . . . . . . . . . . . . . . . . . . 92
6.3 Combining Martingale Estimating Functions . . . . . . . . . . 93
6.3.1 An Example . . . . . . . . . . . . . . . . . . . . . . . . 98
6.4 Application. Nested Strata of Variation . . . . . . . . . . . . . 99
6.5 State-Estimation in Time Series . . . . . . . . . . . . . . . . . . 103
6.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
7 Projected Quasi-Likelihood 107
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
7.2 Constrained Parameter Estimation . . . . . . . . . . . . . . . . 107
7.2.1 Main Results . . . . . . . . . . . . . . . . . . . . . . . . 109
7.2.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . 111
7.2.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . 112
7.3 Nuisance Parameters . . . . . . . . . . . . . . . . . . . . . . . . 113
7.4 Generalizing the E-M Algorithm: The P-S Method . . . . . . . 116
7.4.1 From Log-Likelihood to Score Function . . . . . . . . . 117
7.4.2 From Score to Quasi-Score . . . . . . . . . . . . . . . . 118
7.4.3 Key Applications . . . . . . . . . . . . . . . . . . . . . . 121
7.4.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . 122
7.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
8 Bypassing the Likelihood 129
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
8.2 The REML Estimating Equations . . . . . . . . . . . . . . . . . 129
8.3 Parameters in Diffusion Type Processes . . . . . . . . . . . . . 131
8.4 Estimation in Hidden Markov Random Fields . . . . . . . . . . 136
8.5 Exercise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
9 Hypothesis Testing 141
9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
9.2 The Details . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
9.3 Exercise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
10 Infinite Dimensional Problems 147
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
10.2 Sieves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
10.3 Semimartingale Models . . . . . . . . . . . . . . . . . . . . . . 148
11 Miscellaneous Applications 153
11.1 Estimating the Mean of a Stationary Process . . . . . . . . . . 153
11.2 Estimation for a Heteroscedastic Regression . . . . . . . . . . . 159
11.3 Estimating the Infection Rate in an Epidemic . . . . . . . . . . 162
11.4 Estimating Population Size . . . . . . . . . . . . . . . . . . . . 164
11.5 Robust Estimation . . . . . . . . . . . . . . . . . . . . . . . . . 169
11.5.1 Optimal Robust Estimating Functions . . . . . . . . . . 170
11.5.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
11.6 Recursive Estimation . . . . . . . . . . . . . . . . . . . . . . . . 176
12 Consistency and Asymptotic Normality
for Estimating Functions 179
12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
12.2 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
12.3 The SLLN for Martingales . . . . . . . . . . . . . . . . . . . . . 186
12.4 The CLT for Martingales . . . . . . . . . . . . . . . . . . . . . 190
12.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
13 Complements and Strategies for Application 199
13.1 Some Useful Families of Estimating Functions . . . . . . . . . . 199
13.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . 199
13.1.2 Transform Martingale Families . . . . . . . . . . . . . . 199
13.1.3 Use of the Infinitesimal Generator of a Markov Process 200
13.2 Solution of Estimating Equations . . . . . . . . . . . . . . . . . 201
13.3 Multiple Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
13.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . 202
13.3.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . 204
13.3.3 Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
13.4 Resampling Methods . . . . . . . . . . . . . . . . . . . . . . . . 210
References 211
Index 227