是不是好书，各位达人评价。

详细目录

Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii
Part I Linear Algebra
1 Basic Vector/Matrix Structure and Notation . . . . . . . . . . . . . . 3
1.1 Vectors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 Arrays . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 Representation of Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2 Vectors and Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1 Operations on Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.1 Linear Combinations and Linear Independence . . . . . . . . 10
2.1.2 Vector Spaces and Spaces of Vectors . . . . . . . . . . . . . . . . . 11
2.1.3 Basis Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.4 Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.1.5 Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.6 Normalized Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.1.7 Metrics and Distances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.1.8 Orthogonal Vectors and Orthogonal Vector Spaces . . . . . 22
2.1.9 The “One Vector” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 Cartesian Coordinates and Geometrical Properties of Vectors . 24
2.2.1 Cartesian Geometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.2 Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.3 Angles between Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.4 Orthogonalization Transformations . . . . . . . . . . . . . . . . . . 27
2.2.5 Orthonormal Basis Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2.6 Approximation of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.7 Flats, Affine Spaces, and Hyperplanes . . . . . . . . . . . . . . . . 31
2.2.8 Cones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
xvi Contents
2.2.9 Cross Products in IR3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3 Centered Vectors and Variances and Covariances of Vectors . . . 33
2.3.1 The Mean and Centered Vectors . . . . . . . . . . . . . . . . . . . . 34
2.3.2 The Standard Deviation, the Variance,
and Scaled Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.3.3 Covariances and Correlations between Vectors . . . . . . . . 36
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3 Basic Properties of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1 Basic Definitions and Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1.1 Matrix Shaping Operators . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.1.2 Partitioned Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.1.3 Matrix Addition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.1.4 Scalar-Valued Operators on Square Matrices:
The Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.1.5 Scalar-Valued Operators on Square Matrices:
The Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2 Multiplication of Matrices and Multiplication
of Vectors and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.2.1 Matrix Multiplication (Cayley) . . . . . . . . . . . . . . . . . . . . . . 59
3.2.2 Multiplication of Partitioned Matrices . . . . . . . . . . . . . . . . 61
3.2.3 Elementary Operations on Matrices . . . . . . . . . . . . . . . . . . 61
3.2.4 Traces and Determinants of Square Cayley Products . . . 67
3.2.5 Multiplication of Matrices and Vectors . . . . . . . . . . . . . . . 68
3.2.6 Outer Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.2.7 Bilinear and Quadratic Forms; Definiteness . . . . . . . . . . . 69
3.2.8 Anisometric Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.2.9 Other Kinds of Matrix Multiplication . . . . . . . . . . . . . . . . 72
3.3 Matrix Rank and the Inverse of a Full Rank Matrix . . . . . . . . . . 76
3.3.1 The Rank of Partitioned Matrices, Products
of Matrices, and Sums of Matrices . . . . . . . . . . . . . . . . . . . 78
3.3.2 Full Rank Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.3.3 Full Rank Matrices and Matrix Inverses . . . . . . . . . . . . . . 81
3.3.4 Full Rank Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
3.3.5 Equivalent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.3.6 Multiplication by Full Rank Matrices . . . . . . . . . . . . . . . . 88
3.3.7 Products of the Form ATA . . . . . . . . . . . . . . . . . . . . . . . . . 90
3.3.8 A Lower Bound on the Rank of a Matrix Product . . . . . 92
3.3.9 Determinants of Inverses . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
3.3.10 Inverses of Products and Sums of Matrices . . . . . . . . . . . 93
3.3.11 Inverses of Matrices with Special Forms . . . . . . . . . . . . . . 94
3.3.12 Determining the Rank of a Matrix . . . . . . . . . . . . . . . . . . . 94
3.4 More on Partitioned Square Matrices: The Schur Complement 95
3.4.1 Inverses of Partitioned Matrices . . . . . . . . . . . . . . . . . . . . . 95
3.4.2 Determinants of Partitioned Matrices . . . . . . . . . . . . . . . . 96
Contents xvii
3.5 Linear Systems of Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
3.5.1 Solutions of Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . 97
3.5.2 Null Space: The Orthogonal Complement . . . . . . . . . . . . . 99
3.6 Generalized Inverses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
3.6.1 Generalized Inverses of Sums of Matrices . . . . . . . . . . . . . 101
3.6.2 Generalized Inverses of Partitioned Matrices . . . . . . . . . . 101
3.6.3 Pseudoinverse or Moore-Penrose Inverse . . . . . . . . . . . . . . 101
3.7 Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
3.8 Eigenanalysis; Canonical Factorizations . . . . . . . . . . . . . . . . . . . . 105
3.8.1 Basic Properties of Eigenvalues and Eigenvectors . . . . . . 107
3.8.2 The Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . 108
3.8.3 The Spectrum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
3.8.4 Similarity Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 114
3.8.5 Similar Canonical Factorization;
Diagonalizable Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
3.8.6 Properties of Diagonalizable Matrices . . . . . . . . . . . . . . . . 118
3.8.7 Eigenanalysis of Symmetric Matrices . . . . . . . . . . . . . . . . . 119
3.8.8 Positive Definite and Nonnegative Definite Matrices . . . 124
3.8.9 The Generalized Eigenvalue Problem . . . . . . . . . . . . . . . . 126
3.8.10 Singular Values and the Singular Value Decomposition . 127
3.9 Matrix Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
3.9.1 Matrix Norms Induced from Vector Norms . . . . . . . . . . . 129
3.9.2 The Frobenius Norm — The “Usual” Norm . . . . . . . . . . . 131
3.9.3 Matrix Norm Inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
3.9.4 The Spectral Radius . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
3.9.5 Convergence of a Matrix Power Series . . . . . . . . . . . . . . . . 134
3.10 Approximation of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
4 Vector/Matrix Derivatives and Integrals . . . . . . . . . . . . . . . . . . . 145
4.1 Basics of Differentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
4.2 Types of Differentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
4.2.1 Differentiation with Respect to a Scalar . . . . . . . . . . . . . . 149
4.2.2 Differentiation with Respect to a Vector . . . . . . . . . . . . . . 150
4.2.3 Differentiation with Respect to a Matrix . . . . . . . . . . . . . 154
4.3 Optimization of Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
4.3.1 Stationary Points of Functions . . . . . . . . . . . . . . . . . . . . . . 156
4.3.2 Newton’s Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
4.3.3 Optimization of Functions with Restrictions . . . . . . . . . . 159
4.4 Multiparameter Likelihood Functions . . . . . . . . . . . . . . . . . . . . . . 163
4.5 Integration and Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
4.5.1 Multidimensional Integrals and Integrals Involving
Vectors and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
4.5.2 Integration Combined with Other Operations . . . . . . . . . 166
4.5.3 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
xviii Contents
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
5 Matrix Transformations and Factorizations . . . . . . . . . . . . . . . . 173
5.1 Transformations by Orthogonal Matrices . . . . . . . . . . . . . . . . . . . 174
5.2 Geometric Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
5.2.1 Rotations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
5.2.2 Reflections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
5.2.3 Translations; Homogeneous Coordinates . . . . . . . . . . . . . . 178
5.3 Householder Transformations (Reflections) . . . . . . . . . . . . . . . . . . 180
5.4 Givens Transformations (Rotations) . . . . . . . . . . . . . . . . . . . . . . . 182
5.5 Factorization of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
5.6 LU and LDU Factorizations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
5.7 QR Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
5.7.1 Householder Reflections to Form the QR Factorization . 190
5.7.2 Givens Rotations to Form the QR Factorization . . . . . . . 192
5.7.3 Gram-Schmidt Transformations to Form the
QR Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
5.8 Singular Value Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
5.9 Factorizations of Nonnegative Definite Matrices . . . . . . . . . . . . . 193
5.9.1 Square Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
5.9.2 Cholesky Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
5.9.3 Factorizations of a Gramian Matrix . . . . . . . . . . . . . . . . . . 196
5.10 Incomplete Factorizations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
6 Solution of Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
6.1 Condition of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
6.2 Direct Methods for Consistent Systems . . . . . . . . . . . . . . . . . . . . . 206
6.2.1 Gaussian Elimination and Matrix Factorizations . . . . . . . 207
6.2.2 Choice of Direct Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
6.3 Iterative Methods for Consistent Systems . . . . . . . . . . . . . . . . . . . 211
6.3.1 The Gauss-Seidel Method with
Successive Overrelaxation . . . . . . . . . . . . . . . . . . . . . . . . . . 212
6.3.2 Conjugate Gradient Methods for Symmetric
Positive Definite Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
6.3.3 Multigrid Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
6.4 Numerical Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
6.5 Iterative Refinement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
6.6 Updating a Solution to a Consistent System . . . . . . . . . . . . . . . . 220
6.7 Overdetermined Systems; Least Squares . . . . . . . . . . . . . . . . . . . . 222
6.7.1 Least Squares Solution of an Overdetermined System . . 224
6.7.2 Least Squares with a Full Rank Coefficient Matrix . . . . . 226
6.7.3 Least Squares with a Coefficient Matrix
Not of Full Rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
Contents xix
6.7.4 Updating a Least Squares Solution
of an Overdetermined System . . . . . . . . . . . . . . . . . . . . . . . 228
6.8 Other Solutions of Overdetermined Systems. . . . . . . . . . . . . . . . . 229
6.8.1 Solutions that Minimize Other Norms of the Residuals . 230
6.8.2 Regularized Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
6.8.3 Minimizing Orthogonal Distances . . . . . . . . . . . . . . . . . . . . 234
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
7 Evaluation of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . 241
7.1 General Computational Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 242
7.1.1 Eigenvalues from Eigenvectors and Vice Versa . . . . . . . . . 242
7.1.2 Deflation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
7.1.3 Preconditioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
7.2 Power Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
7.3 Jacobi Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
7.4 QR Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
7.5 Krylov Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
7.6 Generalized Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
7.7 Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
Part II Applications in Data Analysis
8 Special Matrices and Operations Useful in Modeling
and Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
8.1 Data Matrices and Association Matrices . . . . . . . . . . . . . . . . . . . . 261
8.1.1 Flat Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
8.1.2 Graphs and Other Data Structures . . . . . . . . . . . . . . . . . . 262
8.1.3 Probability Distribution Models . . . . . . . . . . . . . . . . . . . . . 269
8.1.4 Association Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
8.2 Symmetric Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
8.3 Nonnegative Definite Matrices; Cholesky Factorization . . . . . . . 275
8.4 Positive Definite Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
8.5 Idempotent and Projection Matrices . . . . . . . . . . . . . . . . . . . . . . . 280
8.5.1 Idempotent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
8.5.2 Projection Matrices: Symmetric Idempotent Matrices . . 286
8.6 Special Matrices Occurring in Data Analysis . . . . . . . . . . . . . . . . 287
8.6.1 Gramian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
8.6.2 Projection and Smoothing Matrices . . . . . . . . . . . . . . . . . . 290
8.6.3 Centered Matrices and Variance-Covariance Matrices . . 293
8.6.4 The Generalized Variance . . . . . . . . . . . . . . . . . . . . . . . . . . 296
8.6.5 Similarity Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
8.6.6 Dissimilarity Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
8.7 Nonnegative and Positive Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 299
xx Contents
8.7.1 Properties of Square Positive Matrices . . . . . . . . . . . . . . . 301
8.7.2 Irreducible Square Nonnegative Matrices . . . . . . . . . . . . . 302
8.7.3 Stochastic Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
8.7.4 Leslie Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
8.8 Other Matrices with Special Structures . . . . . . . . . . . . . . . . . . . . . 307
8.8.1 Helmert Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
8.8.2 Vandermonde Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
8.8.3 Hadamard Matrices and Orthogonal Arrays . . . . . . . . . . . 310
8.8.4 Toeplitz Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
8.8.5 Hankel Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
8.8.6 Cauchy Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
8.8.7 Matrices Useful in Graph Theory . . . . . . . . . . . . . . . . . . . . 313
8.8.8 M-Matrices. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
9 Selected Applications in Statistics . . . . . . . . . . . . . . . . . . . . . . . . . 321
9.1 Multivariate Probability Distributions . . . . . . . . . . . . . . . . . . . . . . 322
9.1.1 Basic Definitions and Properties . . . . . . . . . . . . . . . . . . . . . 322
9.1.2 The Multivariate Normal Distribution . . . . . . . . . . . . . . . . 323
9.1.3 Derived Distributions and Cochran’s Theorem . . . . . . . . 323
9.2 Linear Models. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
9.2.1 Fitting the Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
9.2.2 Linear Models and Least Squares . . . . . . . . . . . . . . . . . . . . 330
9.2.3 Statistical Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
9.2.4 The Normal Equations and the Sweep Operator . . . . . . . 335
9.2.5 Linear Least Squares Subject to Linear
Equality Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
9.2.6 Weighted Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
9.2.7 Updating Linear Regression Statistics . . . . . . . . . . . . . . . . 338
9.2.8 Linear Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
9.3 Principal Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
9.3.1 Principal Components of a Random Vector . . . . . . . . . . . 342
9.3.2 Principal Components of Data . . . . . . . . . . . . . . . . . . . . . . 343
9.4 Condition of Models and Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
9.4.1 Ill-Conditioning in Statistical Applications . . . . . . . . . . . . 346
9.4.2 Variable Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
9.4.3 Principal Components Regression . . . . . . . . . . . . . . . . . . . 348
9.4.4 Shrinkage Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
9.4.5 Testing the Rank of a Matrix . . . . . . . . . . . . . . . . . . . . . . . 350
9.4.6 Incomplete Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
9.5 Optimal Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
9.6 Multivariate Random Number Generation . . . . . . . . . . . . . . . . . . 358
9.7 Stochastic Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
9.7.1 Markov Chains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
9.7.2 Markovian Population Models . . . . . . . . . . . . . . . . . . . . . . . 362
Contents xxi
9.7.3 Autoregressive Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
Part III Numerical Methods and Software
10 Numerical Methods. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
10.1 Digital Representation of Numeric Data . . . . . . . . . . . . . . . . . . . . 377
10.1.1 The Fixed-Point Number System . . . . . . . . . . . . . . . . . . . . 378
10.1.2 The Floating-Point Model for Real Numbers . . . . . . . . . . 379
10.1.3 Language Constructs for Representing Numeric Data . . 386
10.1.4 Other Variations in the Representation of Data;
Portability of Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
10.2 Computer Operations on Numeric Data . . . . . . . . . . . . . . . . . . . . 393
10.2.1 Fixed-Point Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
10.2.2 Floating-Point Operations . . . . . . . . . . . . . . . . . . . . . . . . . . 395
10.2.3 Exact Computations; Rational Fractions . . . . . . . . . . . . . 399
10.2.4 Language Constructs for Operations
on Numeric Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401
10.3 Numerical Algorithms and Analysis . . . . . . . . . . . . . . . . . . . . . . . . 403
10.3.1 Error in Numerical Computations . . . . . . . . . . . . . . . . . . . 404
10.3.2 Efficiency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
10.3.3 Iterations and Convergence . . . . . . . . . . . . . . . . . . . . . . . . . 417
10.3.4 Other Computational Techniques . . . . . . . . . . . . . . . . . . . . 419
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422
11 Numerical Linear Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
11.1 Computer Representation of Vectors and Matrices . . . . . . . . . . . 429
11.2 General Computational Considerations
for Vectors and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431
11.2.1 Relative Magnitudes of Operands . . . . . . . . . . . . . . . . . . . . 431
11.2.2 Iterative Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
11.2.3 Assessing Computational Errors . . . . . . . . . . . . . . . . . . . . . 434
11.3 Multiplication of Vectors and Matrices . . . . . . . . . . . . . . . . . . . . . 435
11.4 Other Matrix Computations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441
12 Software for Numerical Linear Algebra . . . . . . . . . . . . . . . . . . . . 445
12.1 Fortran and C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
12.1.1 Programming Considerations . . . . . . . . . . . . . . . . . . . . . . . 448
12.1.2 Fortran 95 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
12.1.3 Matrix and Vector Classes in C++ . . . . . . . . . . . . . . . . . . 453
12.1.4 Libraries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454
12.1.5 The IMSLTM Libraries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457
12.1.6 Libraries for Parallel Processing . . . . . . . . . . . . . . . . . . . . . 460
xxii Contents
12.2 Interactive Systems for Array Manipulation . . . . . . . . . . . . . . . . . 461
12.2.1 MATLABR and Octave . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463
12.2.2 R and S-PLUS R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466
12.3 High-Performance Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470
12.4 Software for Statistical Applications . . . . . . . . . . . . . . . . . . . . . . . 472
12.5 Test Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
A Notation and Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479
A.1 General Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479
A.2 Computer Number Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481
A.3 General Mathematical Functions and Operators . . . . . . . . . . . . . 482
A.4 Linear Spaces and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484
A.5 Models and Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490
B Solutions and Hints for Selected Exercises . . . . . . . . . . . . . . . . . 493
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 505
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 519