【书名】 Local Regression and Likelihood
【作者】 Clive Loader
【出版社】Springer
【出版日期】1999
【文件格式】PDF
【文件大小】1.36MB
【页数】305
【ISBN出版号】0-387-98775-4
【资料类别】 专著
【市面定价】
【扫描版还是影印版】影印版
【是否缺页】否
【关键词】 局部回归 非参数估计 局部似然估计
【内容简介】 The core methodology of this book appears in Chapters 2 through 5.These chapters introduce the local regression method in univariate and multivariate settings, and extensions to local likelihood and density estimation. Basic theoretical results and diagnostic tools such as cross validation are introduced along the way. Examples illustrate the implementation of
the methods using the locfit software.
The remaining chapters discuss a variety of applications and advanced topics: classification, survival data, bandwidth selection issues, computation and asymptotic theory. Largely, these chapters are independent of each other, so the reader can pick those of most interest.
目录：
1 The Origins of Local Regression 1
1.1 The Problem of Graduation . . . . . . . . . . . . . . . . . . 1
1.1.1 Graduation Using Summation Formulae . . . . . . . 2
1.1.2 The Bias-Variance Trade-Off . . . . . . . . . . . . . 7
1.2 Local Polynomial Fitting . . . . . . . . . . . . . . . . . . . 7
1.2.1 Optimal Weights . . . . . . . . . . . . . . . . . . . . 8
1.3 Smoothing of Time Series . . . . . . . . . . . . . . . . . . . 10
1.4 Modern Local Regression . . . . . . . . . . . . . . . . . . . 11
1.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2 Local Regression Methods 15
2.1 The Local Regression Estimate . . . . . . . . . . . . . . . . 15
2.1.1 Interpreting the Local Regression Estimate . . . . . 18
2.1.2 Multivariate Local Regression . . . . . . . . . . . . . 19
2.2 The Components of Local Regression . . . . . . . . . . . . . 20
2.2.1 Bandwidth . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2 Local Polynomial Degree . . . . . . . . . . . . . . . 22
2.2.3 The Weight Function . . . . . . . . . . . . . . . . . . 23
2.2.4 The Fitting Criterion . . . . . . . . . . . . . . . . . 24
2.3 Diagnostics and Goodness of Fit . . . . . . . . . . . . . . . 24
2.3.1 Residuals . . . . . . . . . . . . . . . . . . . . . . . . 25
2.3.2 Influence, Variance and Degrees of Freedom . . . . . 27
2.3.3 Confidence Intervals . . . . . . . . . . . . . . . . . . 29
2.4 Model Comparison and Selection . . . . . . . . . . . . . . . 30
x Contents
2.4.1 Prediction and Cross Validation . . . . . . . . . . . 30
2.4.2 Estimation Error and CP . . . . . . . . . . . . . . . 31
2.4.3 Cross Validation Plots . . . . . . . . . . . . . . . . . 32
2.5 Linear Estimation . . . . . . . . . . . . . . . . . . . . . . . 33
2.5.1 Influence, Variance and Degrees of Freedom . . . . . 36
2.5.2 Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.6 Asymptotic Approximations . . . . . . . . . . . . . . . . . . 38
2.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3 Fitting with locfit 45
3.1 Local Regression with locfit . . . . . . . . . . . . . . . . . 46
3.2 Customizing the Local Fit . . . . . . . . . . . . . . . . . . . 47
3.3 The Computational Model . . . . . . . . . . . . . . . . . . . 48
3.4 Diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4.1 Residuals . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4.2 Cross Validation . . . . . . . . . . . . . . . . . . . . 49
3.5 Multivariate Fitting and Visualization . . . . . . . . . . . . 51
3.5.1 Additive Models . . . . . . . . . . . . . . . . . . . . 53
3.5.2 Conditionally Parametric Models . . . . . . . . . . . 55
3.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4 Local Likelihood Estimation 59
4.1 The Local Likelihood Model . . . . . . . . . . . . . . . . . . 59
4.2 Local Likelihood with locfit . . . . . . . . . . . . . . . . . 62
4.3 Diagnostics for Local Likelihood . . . . . . . . . . . . . . . 66
4.3.1 Deviance . . . . . . . . . . . . . . . . . . . . . . . . 66
4.3.2 Residuals for Local Likelihood . . . . . . . . . . . . 67
4.3.3 Cross Validation and AIC . . . . . . . . . . . . . . . 68
4.3.4 Overdispersion . . . . . . . . . . . . . . . . . . . . . 70
4.4 Theory for Local Likelihood Estimation . . . . . . . . . . . 72
4.4.1 Why Maximize the Local Likelihood? . . . . . . . . 72
4.4.2 Local Likelihood Equations . . . . . . . . . . . . . . 72
4.4.3 Bias, Variance and Influence . . . . . . . . . . . . . 74
4.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
5 Density Estimation 79
5.1 Local Likelihood Density Estimation . . . . . . . . . . . . . 79
5.1.1 Higher Order Kernels . . . . . . . . . . . . . . . . . 81
5.1.2 Poisson Process Rate Estimation . . . . . . . . . . . 82
5.1.3 Discrete Data . . . . . . . . . . . . . . . . . . . . . . 82
5.2 Density Estimation in locfit . . . . . . . . . . . . . . . . . 83
5.2.1 Multivariate Density Examples . . . . . . . . . . . . 86
5.3 Diagnostics for Density Estimation . . . . . . . . . . . . . . 87
5.3.1 Residuals for Density Estimation . . . . . . . . . . . 88
5.3.2 Influence, Cross Validation and AIC . . . . . . . . . 90
Contents xi
5.3.3 Squared Error Methods . . . . . . . . . . . . . . . . 92
5.3.4 Implementation . . . . . . . . . . . . . . . . . . . . . 93
5.4 Some Theory for Density Estimation . . . . . . . . . . . . . 95
5.4.1 Motivation for the Likelihood . . . . . . . . . . . . . 95
5.4.2 Existence and Uniqueness . . . . . . . . . . . . . . . 96
5.4.3 Asymptotic Representation . . . . . . . . . . . . . . 97
5.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
6 Flexible Local Regression 101
6.1 Derivative Estimation . . . . . . . . . . . . . . . . . . . . . 101
6.1.1 Identifiability and Derivative Estimation . . . . . . . 102
6.1.2 Local Slope Estimation in locfit . . . . . . . . . . 104
6.2 Angular and Periodic Data . . . . . . . . . . . . . . . . . . 105
6.3 One-Sided Smoothing . . . . . . . . . . . . . . . . . . . . . 110
6.4 Robust Smoothing . . . . . . . . . . . . . . . . . . . . . . . 113
6.4.1 Choice of Robustness Criterion . . . . . . . . . . . . 114
6.4.2 Choice of Scale Estimate . . . . . . . . . . . . . . . . 115
6.4.3 locfit Implementation . . . . . . . . . . . . . . . . 115
6.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
7 Survival and Failure Time Analysis 119
7.1 Hazard Rate Estimation . . . . . . . . . . . . . . . . . . . . 120
7.1.1 Censored Survival Data . . . . . . . . . . . . . . . . 120
7.1.2 The Local Likelihood Model . . . . . . . . . . . . . . 121
7.1.3 Hazard Rate Estimation in locfit . . . . . . . . . . 122
7.1.4 Covariates . . . . . . . . . . . . . . . . . . . . . . . . 123
7.2 Censored Regression . . . . . . . . . . . . . . . . . . . . . . 124
7.2.1 Transformations and Estimates . . . . . . . . . . . . 126
7.2.2 Nonparametric Transformations . . . . . . . . . . . . 127
7.3 Censored Local Likelihood . . . . . . . . . . . . . . . . . . . 129
7.3.1 Censored Local Likelihood in locfit . . . . . . . . . 131
7.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
8 Discrimination and Classification 139
8.1 Discriminant Analysis . . . . . . . . . . . . . . . . . . . . . 140
8.2 Classification with locfit . . . . . . . . . . . . . . . . . . . 141
8.2.1 Logistic Regression . . . . . . . . . . . . . . . . . . . 142
8.2.2 Density Estimation . . . . . . . . . . . . . . . . . . . 143
8.3 Model Selection for Classification . . . . . . . . . . . . . . . 145
8.4 Multiple Classes . . . . . . . . . . . . . . . . . . . . . . . . 148
8.5 More on Misclassification Rates . . . . . . . . . . . . . . . . 152
8.5.1 Pointwise Misclassification . . . . . . . . . . . . . . . 153
8.5.2 Global Misclassification . . . . . . . . . . . . . . . . 154
8.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
xii Contents
9 Variance Estimation and Goodness of Fit 159
9.1 Variance Estimation . . . . . . . . . . . . . . . . . . . . . . 159
9.1.1 Other Variance Estimates . . . . . . . . . . . . . . . 161
9.1.2 Nonhomogeneous Variance . . . . . . . . . . . . . . 162
9.1.3 Goodness of Fit Testing . . . . . . . . . . . . . . . . 165
9.2 Interval Estimation . . . . . . . . . . . . . . . . . . . . . . . 167
9.2.1 Pointwise Confidence Intervals . . . . . . . . . . . . 167
9.2.2 Simultaneous Confidence Bands . . . . . . . . . . . . 168
9.2.3 Likelihood Models . . . . . . . . . . . . . . . . . . . 171
9.2.4 Maximal Deviation Tests . . . . . . . . . . . . . . . 172
9.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
10 Bandwidth Selection 177
10.1 Approaches to Bandwidth Selection . . . . . . . .. . 178
10.1.1 Classical Approaches . . . . . . . . . . . . . . . . . . 178
10.1.2 Plug-In Approaches . . . . . . . . . . . . . . . . . . 179
10.2 Application of the Bandwidth Selectors . .. . . . . 182
10.2.1 Old Faithful . . . . . . . . . . . . . . . . . . . . . . . 183
10.2.2 The Claw Density . . . . . . . . . . . . . . . . . . . 186
10.2.3 Australian Institute of Sport Dataset . . . . . . . . 189
10.3 Conclusions and Further Reading . . . . . . . . . . . 191
10.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
11 Adaptive Parameter Choice 195
11.1 Local Goodness of Fit . . . . . . . . . . . . . . . . . . . 196
11.1.1 Local CP . . . . . . . . . . . . . . . . . . . . . . . . 196
11.1.2 Local Cross Validation . . . . . . . . . . . . . . . . . 198
11.1.3 Intersection of Confidence Intervals . . . . .. . . 199
11.1.4 Local Likelihood . . . . . . . . . . . . . . . . . . . . 199
11.2 Fitting Locally Adaptive Models . . . . . . . . . .. . . 200
11.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
12 Computational Methods 209
12.1 Local Fitting at a Point . . . . . . . . . . . . . . . . . . 209
12.2 Evaluation Structures . . . . . . . . . . . . . . . . . . . 211
12.2.1 Growing Adaptive Trees . . . . . . . . . . . . . . . . 212
12.2.2 Interpolation Methods . . . . . . . . . . . . . . . . . 215
12.2.3 Evaluation Structures in locfit . . . . . . . . . . . 217
12.3 Influence and Variance Functions . . . . . . . . . . 218
12.4 Density Estimation . . . . . . . . . . . . . . . . . . . . . 219
12.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
13 Optimizing Local Regression 223
13.1 Optimal Rates of Convergence . . . . . . . . . . . . 223
13.2 Optimal Constants . . . . . . . . . . . . . . . . . . . . . 227
Contents xiii
13.3 Minimax Local Regression . . . . . . . . . . . .. . . . 230
13.3.1 Implementation . . . . . . . . . . . . . . . . . . . . 232
13.4 Design Adaptation and Model Indexing . . . . . . 234
13.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
A Installing locfit in R, S and S-Plus 239
A.1 Installation, S-Plus for Windows . . . . . . . . .. . . . 239
A.2 Installation, S-Plus 3, UNIX . . . . . . . . . . . . . . . . 240
A.3 Installation, S-Plus 5.0 . . . . . . . . . . . . . . . . . . . 241
A.4 Installing in R . . . . . . . . . . . . . . . . . . . . . . . . . 242
B Additional Features: locfit in S 243
B.1 Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
B.2 Calling locfit() . . . . . . . . . . . . . . . . . . . . . . . . 244
B.2.1 Extracting from a Fit . . . . . . . . . . . . . . . . . 244
B.2.2 Iterative Use of locfit() . . . . . . . . . . . . . . . 245
B.3 Arithmetic Operators and Math Functions . . .. . . 247
B.4 Trellis Tricks . . . . . . . . . . . . . . . . . . . . . . . . . . 248
C c-locfit 251
C.1 Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
C.1.1 Windows 95, 98 and NT . . . . . . . . . . . . . . . . 251
C.1.2 UNIX . . . . . . . . . . . . . . . . . . . . . . . . . . 251
C.2 Using c-locfit . . . . . . . . . . . . . . . . . . . . . . . . . 252
C.2.1 Data in c-locfit . . . . . . . . . . . . . . . . . . . 253
C.3 Fitting with c-locfit . . . . . . . . . . . . . . . . . . . . . 255
C.4 Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
C.5 Some additional commands . . . . . . . . . . . .. . . . 256
D Plots fromc-locfit 257
D.1 The plotdata Command . . . . . . . . . . . . . . . . . . . 258
D.2 The plotfit Command . . . . . . . . . . . . . . . . . . . . 258
D.3 Other Plot Options . . . . . . . . . . . . . . . . . . . . . . . 261
【原创书评】
这本书是我跟着导师开始学习半参数和非参数计量经济学以来，看过的关于非参数、半参数估计和推断的专著的第五本书。它比较全面的总结了关于局部多项式回归的估计，检验和统计推断问题，以及局部似然方法在非参数估计和推断中的理论以及应用。看过这本书，使我对局部估计和局部似然方法的理论有了比较清晰的理解，而且其中的全部例子都是用S-plus程序写成，有程序包locfit可供下载，程序可以直接剪切下来在S-plus中运行，这对进一步理解书中的理论很有帮助。不足的是关于locfit程序包的说明不够详细，对于其中参数的设置一知半解，这妨碍了对该软件包的推广应用。（阅读时，我跳过了第七、第八章。）
扫码加好友，拉您进群
全部版块
我的主页
收藏
