Jorge Nocedal Stephen J. Wright, Numerical Optimization, Second Edition
论坛里有第二版和第一版，要价太高！
自己辛苦找到了第二版，低价出售！鄙视高价出售的！
在Pdf文件中增加了目录，阅读电子版更方便！与大家分享！


1 Introduction 1
2 Fundamentals of Unconstrained Optimization 10
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3 Line SearchMethods 30
3.1 StepLength . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.2 ConvergenceofLineSearchMethods . . . . . . . . . . . . . . . . . . . 37
3.3 RateofConvergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4 Newton’s Method with Hessian Modification . . . . . . . . . . . . . . . 48
3.5 Step-Length Selection Algorithms . . . . . . . . . . . . . . . . . . . . . 56
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4 Trust-RegionMethods 66
5 Conjugate GradientMethods 101
6 Quasi-NewtonMethods 135
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
7 Large-Scale Unconstrained Optimization 164
7.1 InexactNewtonMethods . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.2 Limited-MemoryQuasi-NewtonMethods . . . . . . . . . . . . . . . . 176
7.3 SparseQuasi-NewtonUpdates . . . . . . . . . . . . . . . . . . . . . . 185
7.4 Algorithms for Partially Separable Functions . . . . . . . . . . . . . . . 186
7.5 PerspectivesandSoftware . . . . . . . . . . . . . . . . . . . . . . . . . 189
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
8 Calculating Derivatives 193
8.1 Finite-Difference Derivative Approximations . . . . . . . . . . . . . . . 194
8.2 AutomaticDifferentiation . . . . . . . . . . . . . . . . . . . . . . . . . 204
AnExample . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
9 Derivative-Free Optimization 220
9.1 Finite Differences and Noise . . . . . . . . . . . . . . . . . . . . . . . . 221
9.2 Model-BasedMethods . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
9.3 Coordinate and Pattern-Search Methods . . . . . . . . . . . . . . . . . 229
9.4 AConjugate-DirectionMethod . . . . . . . . . . . . . . . . . . . . . . 234
9.5 Nelder–MeadMethod . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
9.6 ImplicitFiltering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
10 Least-Squares Problems 245
10.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
10.2 Linear Least-Squares Problems . . . . . . . . . . . . . . . . . . . . . . 250
10.3 Algorithms for Nonlinear Least-Squares Problems . . . . . . . . . . . . 254
10.4 Orthogonal Distance Regression . . . . . . . . . . . . . . . . . . . . . . 265
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
11 Nonlinear Equations 270
11.1 Local Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
11.2 PracticalMethods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
11.3 Continuation/HomotopyMethods . . . . . . . . . . . . . . . . . . . . 296
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
12 Theory of Constrained Optimization 304
12.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
12.2 TangentConeandConstraintQualifications . . . . . . . . . . . . . . . 315
12.3 First-Order Optimality Conditions . . . . . . . . . . . . . . . . . . . . 320
12.4 First-Order Optimality Conditions: Proof . . . . . . . . . . . . . . . . . 323
12.5 Second-Order Conditions . . . . . . . . . . . . . . . . . . . . . . . . . 330
12.6 OtherConstraintQualifications . . . . . . . . . . . . . . . . . . . . . . 338
12.7 AGeometricViewpoint . . . . . . . . . . . . . . . . . . . . . . . . . . 340
12.8 LagrangeMultipliersandSensitivity . . . . . . . . . . . . . . . . . . . . 341
12.9 Duality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
13 Linear Programming: The SimplexMethod 355
LinearProgramming . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
13.1 OptimalityandDuality . . . . . . . . . . . . . . . . . . . . . . . . . . 358
13.2 Geometryof theFeasibleSet . . . . . . . . . . . . . . . . . . . . . . . . 362
13.3 TheSimplexMethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
13.4 LinearAlgebraintheSimplexMethod . . . . . . . . . . . . . . . . . . 372
13.5 Other ImportantDetails . . . . . . . . . . . . . . . . . . . . . . . . . . 375
13.6 TheDualSimplexMethod . . . . . . . . . . . . . . . . . . . . . . . . . 382
13.7 Presolving . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385
13.8 WhereDoes theSimplexMethodFit? . . . . . . . . . . . . . . . . . . . 388
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
14 Linear Programming: Interior-PointMethods 392
14.1 Primal-DualMethods . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
14.2 Practical Primal-Dual Algorithms . . . . . . . . . . . . . . . . . . . . . 407
14.3 Other Primal-Dual Algorithms and Extensions . . . . . . . . . . . . . . 413
14.4 PerspectivesandSoftware . . . . . . . . . . . . . . . . . . . . . . . . . 416
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418
15 Fundamentals of Algorithms for Nonlinear Constrained Optimization 421
15.1 Categorizing Optimization Algorithms . . . . . . . . . . . . . . . . . . 422
15.2 The Combinatorial Difficulty of Inequality-Constrained Problems . . . . 424
15.3 EliminationofVariables . . . . . . . . . . . . . . . . . . . . . . . . . . 426
15.4 MeritFunctionsandFilters . . . . . . . . . . . . . . . . . . . . . . . . 435
15.5 TheMaratosEffect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440
15.6 Second-OrderCorrectionandNonmonotoneTechniques . . . . . . . . 443
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
16 Quadratic Programming 448
16.1 Equality-ConstrainedQuadraticPrograms . . . . . . . . . . . . . . . . 451
16.2 DirectSolutionof theKKTSystem . . . . . . . . . . . . . . . . . . . . 454
16.3 IterativeSolutionof theKKTSystem . . . . . . . . . . . . . . . . . . . 459
16.4 Inequality-ConstrainedProblems . . . . . . . . . . . . . . . . . . . . . 463
16.5 Active-SetMethods forConvexQPs . . . . . . . . . . . . . . . . . . . . 467
16.6 Interior-PointMethods . . . . . . . . . . . . . . . . . . . . . . . . . . 480
16.7 TheGradientProjectionMethod . . . . . . . . . . . . . . . . . . . . . 485
16.8 PerspectivesandSoftware . . . . . . . . . . . . . . . . . . . . . . . . . 490
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492
17 Penalty and Augmented LagrangianMethods 497
17.1 TheQuadraticPenaltyMethod . . . . . . . . . . . . . . . . . . . . . . 498
Ill Conditioning and Reformulations . . . . . . . . . . . . . . . . . . . 505
17.2 NonsmoothPenaltyFunctions . . . . . . . . . . . . . . . . . . . . . . 507
17.3 AugmentedLagrangianMethod:EqualityConstraints . . . . . . . . . . 514
17.4 PracticalAugmentedLagrangianMethods . . . . . . . . . . . . . . . . 519
17.5 PerspectivesandSoftware . . . . . . . . . . . . . . . . . . . . . . . . . 525
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527
18 Sequential Quadratic Programming 529
18.1 LocalSQPMethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 530
18.2 PreviewofPracticalSQPMethods . . . . . . . . . . . . . . . . . . . . . 533
18.3 Algorithmic Development . . . . . . . . . . . . . . . . . . . . . . . . . 535
18.4 APracticalLineSearchSQPMethod . . . . . . . . . . . . . . . . . . . 545
18.5 Trust-Region SQP Methods . . . . . . . . . . . . . . . . . . . . . . . . 546
18.6 NonlinearGradientProjection . . . . . . . . . . . . . . . . . . . . . . 554
18.7 ConvergenceAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 556
18.8 PerspectivesandSoftware . . . . . . . . . . . . . . . . . . . . . . . . . 560
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561
19 Interior-PointMethods for Nonlinear Programming 563
19.1 TwoInterpretations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 564
19.2 ABasicInterior-PointAlgorithm . . . . . . . . . . . . . . . . . . . . . 566
19.3 Algorithmic Development . . . . . . . . . . . . . . . . . . . . . . . . . 569
19.4 ALineSearchInterior-PointMethod . . . . . . . . . . . . . . . . . . . 577
19.5 A Trust-Region Interior-Point Method . . . . . . . . . . . . . . . . . . 578
19.6 ThePrimalLog-BarrierMethod . . . . . . . . . . . . . . . . . . . . . . 583
19.7 GlobalConvergenceProperties . . . . . . . . . . . . . . . . . . . . . . 587
19.8 SuperlinearConvergence . . . . . . . . . . . . . . . . . . . . . . . . . 591
19.9 PerspectivesandSoftware . . . . . . . . . . . . . . . . . . . . . . . . . 592
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 594
A BackgroundMaterial 598
B A Regularization Procedure