Numerical Analysis for Statisticians

2370

收藏 2010-09-02

Contents
Preface to the Second Edition
0.1 References . . . . . . . . . . . . . . . . . . . . . . . . . . . .
0.2 References . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1 Recurrence Relations 1
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Binomial Coefficients . . . . . . . . . . . . . . . . . . . . . . 1
1.3 Number of Partitions of a Set . . . . . . . . . . . . . . . . . 1
1.4 Horner’s Method . . . . . . . . . . . . . . . . . . . . . . . . 2
1.5 Sample Means and Variances . . . . . . . . . . . . . . . . . 3
1.6 Expected Family Size . . . . . . . . . . . . . . . . . . . . . 4
1.7 Poisson-Binomial Distribution . . . . . . . . . . . . . . . . . 4
1.8 A Multinomial Test Statistic . . . . . . . . . . . . . . . . . 5
1.9 An Unstable Recurrence . . . . . . . . . . . . . . . . . . . . 6
1.10 Quick Sort . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.11 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.12 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2 Power Series Expansions 13
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 Expansion of P(s)n . . . . . . . . . . . . . . . . . . . . . . . 13
2.2.1 Application to Moments . . . . . . . . . . . . . . . . 14
2.3 Expansion of eP(s) . . . . . . . . . . . . . . . . . . . . . . . 14
2.3.1 Moments to Cumulants and Vice Versa . . . . . . . 15
2.3.2 Compound Poisson Distributions . . . . . . . . . . . 15
2.3.3 Evaluation of Hermite Polynomials . . . . . . . . . . 15
2.4 Standard Normal Distribution Function . . . . . . . . . . . 16
2.5 Incomplete Gamma Function . . . . . . . . . . . . . . . . . 17
2.6 Incomplete Beta Function . . . . . . . . . . . . . . . . . . . 18
2.7 Connections to Other Distributions . . . . . . . . . . . . . . 19
2.7.1 Chi-square and Standard Normal . . . . . . . . . . . 19
2.7.2 Poisson . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.7.3 Binomial and Negative Binomial . . . . . . . . . . . 19
2.7.4 F and Student’s t . . . . . . . . . . . . . . . . . . . . 20
2.7.5 Monotonic Transformations . . . . . . . . . . . . . . 21
2.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.9 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3 Continued Fraction Expansions 27
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.2 Wallis’s Algorithm . . . . . . . . . . . . . . . . . . . . . . . 28
3.3 Equivalence Transformations . . . . . . . . . . . . . . . . . 29
3.4 Gauss’s Expansion of Hypergeometric Functions . . . . . . 30
3.5 Expansion of the Incomplete Gamma Function . . . . . . . 33
3.6 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.7 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4 Asymptotic Expansions 39
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2 Order Relations . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.3 Finite Taylor Expansions . . . . . . . . . . . . . . . . . . . 41
4.4 Expansions via Integration by Parts . . . . . . . . . . . . . 43
4.4.1 Exponential Integral . . . . . . . . . . . . . . . . . . 44
4.4.2 Incomplete Gamma Function . . . . . . . . . . . . . 45
4.4.3 Laplace Transforms . . . . . . . . . . . . . . . . . . 45
4.5 General Definition of an Asymptotic Expansion . . . . . . . 46
4.6 Laplace’s Method . . . . . . . . . . . . . . . . . . . . . . . . 46
4.6.1 Moments of an Order Statistic . . . . . . . . . . . . 47
4.6.2 Stirling’s Formula . . . . . . . . . . . . . . . . . . . 49
4.6.3 Posterior Expectations . . . . . . . . . . . . . . . . . 49
4.7 Validation of Laplace’s Method . . . . . . . . . . . . . . . . 50
4.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.9 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5 Solution of Nonlinear Equations 55
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.2 Bisection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.2.1 Computation of Quantiles by Bisection . . . . . . . . 56
5.2.2 Shortest Confidence Interval . . . . . . . . . . . . . . 56
5.3 Functional Iteration . . . . . . . . . . . . . . . . . . . . . . 58
5.3.1 Fractional Linear Transformations . . . . . . . . . . 60
5.3.2 Extinction Probabilities by Functional Iteration . . . 62
5.4 Newton’s Method . . . . . . . . . . . . . . . . . . . . . . . 63
5.4.1 Division without Dividing . . . . . . . . . . . . . . 65
5.4.2 Extinction Probabilities by Newton’s Method . . . . 65
5.5 Golden Section Search . . . . . . . . . . . . . . . . . . . . . 67
5.6 Minimization by Cubic Interpolation . . . . . . . . . . . . 68
5.7 Stopping Criteria . . . . . . . . . . . . . . . . . . . . . . . . 70
5.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.9 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
xiv Contents
6 Vector and Matrix Norms 77
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
6.2 Elementary Properties of Vector Norms . . . . . . . . . . . 77
6.3 Elementary Properties of Matrix Norms . . . . . . . . . . . 78
6.4 Norm Preserving Linear Transformations . . . . . . . . . . 82
6.5 Iterative Solution of Linear Equations . . . . . . . . . . . . 84
6.5.1 Jacobi’s Method . . . . . . . . . . . . . . . . . . . . 85
6.5.2 Landweber’s Iteration Scheme . . . . . . . . . . . . . 85
6.5.3 Equilibrium Distribution of a Markov Chain . . . . 85
6.6 Condition Number of a Matrix . . . . . . . . . . . . . . . . 86
6.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
6.8 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
7 Linear Regression and Matrix Inversion 93
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
7.2 Motivation from Linear Regression . . . . . . . . . . . . . . 94
7.3 Motivation from Multivariate Analysis . . . . . . . . . . . 95
7.4 Definition of the Sweep Operator . . . . . . . . . . . . . . . 95
7.5 Properties of the Sweep Operator . . . . . . . . . . . . . . . 96
7.6 Applications of Sweeping . . . . . . . . . . . . . . . . . . . 99
7.7 Cholesky Decompositions . . . . . . . . . . . . . . . . . . . 99
7.8 Gram-Schmidt Orthogonalization . . . . . . . . . . . . . . . 101
7.9 Orthogonalization by Householder Reflections . . . . . . . . 103
7.10 Comparison of the Different Algorithms . . . . . . . . . . . 105
7.11 Woodbury’s Formula . . . . . . . . . . . . . . . . . . . . . . 105
7.12 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
7.13 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
8 Eigenvalues and Eigenvectors 113
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
8.2 Jacobi’s Method . . . . . . . . . . . . . . . . . . . . . . . . 113
8.3 The Rayleigh Quotient . . . . . . . . . . . . . . . . . . . . 118
8.4 Finding a Single Eigenvalue . . . . . . . . . . . . . . . . . . 120
8.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
8.6 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
9 Singular Value Decomposition 129
9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
9.2 Basic Properties of the SVD . . . . . . . . . . . . . . . . . 130
9.3 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
9.3.1 Reduced Rank Regression . . . . . . . . . . . . . . . 133
9.3.2 Ridge Regression . . . . . . . . . . . . . . . . . . . . 134
9.3.3 Polar Decomposition . . . . . . . . . . . . . . . . . . 134
9.3.4 Image Compression . . . . . . . . . . . . . . . . . . . 135
9.3.5 Principal Components . . . . . . . . . . . . . . . . . 135
Contents xv
9.3.6 Total Least Squares . . . . . . . . . . . . . . . . . . 136
9.4 Jacobi’s Algorithm for the SVD . . . . . . . . . . . . . . . . 137
9.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
9.6 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
10 Splines 143
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
10.2 Definition and Basic Properties . . . . . . . . . . . . . . . . 143
10.3 Applications to Differentiation and Integration . . . . . . . 148
10.4 Application to Nonparametric Regression . . . . . . . . . . 149
10.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
10.6 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
11 Optimization Theory 157
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
11.2 Unconstrained Optimization . . . . . . . . . . . . . . . . . 158
11.3 Optimization with Equality Constraints . . . . . . . . . . . 162
11.4 Optimization with Inequality Constraints . . . . . . . . . . 169
11.5 Convexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
11.6 Block Relaxation . . . . . . . . . . . . . . . . . . . . . . . . 174
11.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
11.8 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

附件列表

Numerical Analysis for Statisticians.pdf

大小:5.39 MB

只需: 5 个论坛币马上下载

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

shuxia

2010-9-2 12:05:00

12 The MM Algorithm 189
12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
12.2 Philosophy of the MM Algorithm . . . . . . . . . . . . . . . 189
12.3 Majorization and Minorization . . . . . . . . . . . . . . . . 191
12.4 Linear Regression . . . . . . . . . . . . . . . . . . . . . . . 193
12.5 Elliptically Symmetric Densities and `p Regression . . . . . 194
12.6 Bradley-Terry Model of Ranking . . . . . . . . . . . . . . . 196
12.7 A Random Graph Model . . . . . . . . . . . . . . . . . . . . 196
12.8 Linear Logistic Regression . . . . . . . . . . . . . . . . . . . 198
12.9 Unconstrained Geometric Programming . . . . . . . . . . . 199
12.10Poisson Processes . . . . . . . . . . . . . . . . . . . . . . . 200
12.11Transmission Tomography . . . . . . . . . . . . . . . . . . 202
12.12Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
12.13References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
13 The EM Algorithm 223
13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
13.2 General Definition of the EM Algorithm . . . . . . . . . . . 224
13.3 Ascent Property of the EM Algorithm . . . . . . . . . . . . 224
13.3.1 Technical Note . . . . . . . . . . . . . . . . . . . . . 226
13.4 Missing Data in the Ordinary Sense . . . . . . . . . . . . . 227
13.5 Bayesian EM . . . . . . . . . . . . . . . . . . . . . . . . . . 228
xvi Contents
13.6 Allele Frequency Estimation . . . . . . . . . . . . . . . . . . 229
13.7 Clustering by EM . . . . . . . . . . . . . . . . . . . . . . . . 231
13.8 Transmission Tomography . . . . . . . . . . . . . . . . . . . 233
13.9 Factor Analysis . . . . . . . . . . . . . . . . . . . . . . . . 235
13.10Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
13.11References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
14 Newton’s Method and Scoring 249
14.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
14.2 Newton’s Method and Root Finding . . . . . . . . . . . . . 249
14.3 Newton’s Method and Optimization . . . . . . . . . . . . . 250
14.4 Ad Hoc Approximations of Hessians . . . . . . . . . . . . . 251
14.5 Scoring and Exponential Families . . . . . . . . . . . . . . . 254
14.6 The Gauss-Newton Algorithm . . . . . . . . . . . . . . . . . 256
14.7 Generalized Linear Models . . . . . . . . . . . . . . . . . . 257
14.8 MM Gradient Algorithm . . . . . . . . . . . . . . . . . . . 258
14.9 Quasi-Newton Methods . . . . . . . . . . . . . . . . . . . . 260
14.10Accelerated MM . . . . . . . . . . . . . . . . . . . . . . . . 262
14.11Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
14.12References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
15 Local and Global Convergence 277
15.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
15.2 Calculus Preliminaries . . . . . . . . . . . . . . . . . . . . . 277
15.3 Local Rates of Convergence . . . . . . . . . . . . . . . . . . 279
15.4 Global Convergence of the MM Algorithm . . . . . . . . . . 283
15.5 Global Convergence of Block Relaxation . . . . . . . . . . . 286
15.6 Global Convergence of Gradient Algorithms . . . . . . . . 286
15.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
15.8 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
16 Advanced Optimization Topics 297
16.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
16.2 Barrier and Penalty Methods . . . . . . . . . . . . . . . . . 298
16.3 Adaptive Barrier Methods . . . . . . . . . . . . . . . . . . . 301
16.4 Dykstra’s Algorithm . . . . . . . . . . . . . . . . . . . . . . 305
16.5 Model Selection and the Lasso . . . . . . . . . . . . . . . . 310
16.5.1 Application to `1 Regression . . . . . . . . . . . . . 313
16.5.2 Application to `2 Regression . . . . . . . . . . . . . 314
16.5.3 Application to Generalized Linear Models . . . . . . 316
16.5.4 Application to Discriminant Analysis . . . . . . . . . 316
16.6 Standard Errors . . . . . . . . . . . . . . . . . . . . . . . . . 317
16.6.1 Standard Errors and the MM Algorithm . . . . . . 317
16.6.2 Standard Errors under Linear Constraints . . . . . . 318
16.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
Contents xvii
16.8 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328
17 Concrete Hilbert Spaces 333
17.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
17.2 Definitions and Basic Properties . . . . . . . . . . . . . . . 333
17.3 Fourier Series . . . . . . . . . . . . . . . . . . . . . . . . . . 337
17.4 Orthogonal Polynomials . . . . . . . . . . . . . . . . . . . . 340
17.5 Reproducing Kernel Hilbert Spaces . . . . . . . . . . . . . . 347
17.6 Application to Spline Estimation . . . . . . . . . . . . . . . 354
17.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
17.8 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
18 Quadrature Methods 363
18.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
18.2 Euler-Maclaurin Sum Formula . . . . . . . . . . . . . . . . 363
18.3 Romberg’s Algorithm . . . . . . . . . . . . . . . . . . . . . 366
18.4 Adaptive Quadrature . . . . . . . . . . . . . . . . . . . . . . 369
18.5 Taming Bad Integrands . . . . . . . . . . . . . . . . . . . . 369
18.6 Gaussian Quadrature . . . . . . . . . . . . . . . . . . . . . . 370
18.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
18.8 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
19 The Fourier Transform 379
19.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
19.2 Basic Properties . . . . . . . . . . . . . . . . . . . . . . . . 379
19.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
19.4 Further Theory . . . . . . . . . . . . . . . . . . . . . . . . . 383
19.5 Edgeworth Expansions . . . . . . . . . . . . . . . . . . . . 387
19.6 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
19.7 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
20 The Finite Fourier Transform 395
20.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
20.2 Basic Properties . . . . . . . . . . . . . . . . . . . . . . . . 395
20.3 Derivation of the Fast Fourier Transform . . . . . . . . . . . 397
20.4 Approximation of Fourier Series Coefficients . . . . . . . . . 398
20.5 Convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
20.6 Time Series . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
20.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
20.8 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
21 Wavelets 413
21.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
21.2 Haar’s Wavelets . . . . . . . . . . . . . . . . . . . . . . . . . 413
21.3 Histogram Estimators . . . . . . . . . . . . . . . . . . . . . 415
xviii Contents
21.4 Daubechies’ Wavelets . . . . . . . . . . . . . . . . . . . . . . 416
21.5 Multiresolution Analysis . . . . . . . . . . . . . . . . . . . . 423
21.6 Image Compression and the Fast Wavelet Transform . . . . 424
21.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426
21.8 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
22 Generating Random Deviates 431
22.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 431
22.2 Portable Random Number Generators . . . . . . . . . . . . 431
22.3 The Inverse Method . . . . . . . . . . . . . . . . . . . . . . 432
22.4 Normal Random Deviates . . . . . . . . . . . . . . . . . . . 434
22.5 Acceptance-Rejection Method . . . . . . . . . . . . . . . . . 435
22.6 Adaptive Acceptance-Rejection Sampling . . . . . . . . . . 440
22.7 Ratio Method . . . . . . . . . . . . . . . . . . . . . . . . . . 442
22.8 Deviates by Definition . . . . . . . . . . . . . . . . . . . . . 443
22.9 Multivariate Deviates . . . . . . . . . . . . . . . . . . . . . 446
22.10Sequential Sampling . . . . . . . . . . . . . . . . . . . . . . 449
22.11Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450
22.12References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456
23 Independent Monte Carlo 459
23.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 459
23.2 Importance Sampling . . . . . . . . . . . . . . . . . . . . . . 460
23.3 Stratified Sampling . . . . . . . . . . . . . . . . . . . . . . . 463
23.4 Antithetic Variates . . . . . . . . . . . . . . . . . . . . . . . 464
23.5 Control Variates . . . . . . . . . . . . . . . . . . . . . . . . 465
23.6 Rao-Blackwellization . . . . . . . . . . . . . . . . . . . . . . 466
23.7 Sequential Importance Sampling . . . . . . . . . . . . . . . 468
23.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
23.9 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

shuxia

2010-9-2 12:05:17

24 Permutation Tests and the Bootstrap 477
24.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 477
24.2 Permutation Tests . . . . . . . . . . . . . . . . . . . . . . . 478
24.3 The Bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . 484
24.3.1 Range of Applications . . . . . . . . . . . . . . . . . 484
24.3.2 Estimation of Standard Errors . . . . . . . . . . . . 485
24.3.3 Bias Reduction . . . . . . . . . . . . . . . . . . . . . 486
24.3.4 Confidence Intervals . . . . . . . . . . . . . . . . . . 487
24.3.5 Applications in Regression . . . . . . . . . . . . . . 490
24.4 Efficient Bootstrap Simulations . . . . . . . . . . . . . . . . 491
24.4.1 The Balanced Bootstrap . . . . . . . . . . . . . . . . 491
24.4.2 The Antithetic Bootstrap . . . . . . . . . . . . . . . 492
24.4.3 Importance Resampling . . . . . . . . . . . . . . . . 492
24.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495
24.6 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49925 Finite-State Markov Chains 503
25.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 503
25.2 Discrete-Time Markov Chains . . . . . . . . . . . . . . . . 503
25.3 Hidden Markov Chains . . . . . . . . . . . . . . . . . . . . . 507
25.4 Connections to the EM Algorithm . . . . . . . . . . . . . . 510
25.5 Continuous-Time Markov Chains . . . . . . . . . . . . . . 511
25.6 Calculation of Matrix Exponentials . . . . . . . . . . . . . 515
25.7 Calculation of the Equilibrium Distribution . . . . . . . . . 516
25.8 Stochastic Simulation and Intensity Leaping . . . . . . . . . 517
25.9 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520
25.10References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525
26 Markov Chain Monte Carlo 527
26.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 527
26.2 The Hastings-Metropolis Algorithm . . . . . . . . . . . . . . 527
26.3 Gibbs Sampling . . . . . . . . . . . . . . . . . . . . . . . . . 529
26.4 Other Examples of Hastings-Metropolis Sampling . . . . . . 536
26.5 Some Practical Advice . . . . . . . . . . . . . . . . . . . . . 539
26.6 Simulated Annealing . . . . . . . . . . . . . . . . . . . . . . 542
26.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544
26.8 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 548
27 Advanced Topics in MCMC 551
27.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 551
27.2 Markov Random Fields . . . . . . . . . . . . . . . . . . . . 552
27.3 Reversible Jump MCMC . . . . . . . . . . . . . . . . . . . . 556
27.4 Metrics for Convergence . . . . . . . . . . . . . . . . . . . . 558
27.5 Convergence Rates for Finite Chains . . . . . . . . . . . . . 560
27.6 Convergence of the Independence Sampler . . . . . . . . . . 563
27.7 Operators and Markov Chains . . . . . . . . . . . . . . . . . 564
27.8 Compact Operators and Gibbs Sampling . . . . . . . . . . . 567
27.9 Convergence Rates for Gibbs Sampling . . . . . . . . . . . . 570
27.10Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 575
27.11References . . . . . . . . . . . . . . . . . . . . . . . . . . . . 578