kindle可阅读，pdf格式
Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Speeding Learning
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1. Efficient BackProp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Yann LeCun, Leon Bottou, Genevieve B. Orr, and
Klaus-Robert Müller
Regularization Techniques to Improve Generalization
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2. Early Stopping — But When? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Lutz Prechelt
3. A Simple Trick for Estimating the Weight Decay Parameter . . . . . . . . . . 69
Thorsteinn S. Rögnvaldsson
4. Controlling the Hyperparameter Search in MacKay’s Bayesian Neural
Network Framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Tony Plate
5. Adaptive Regularization in Neural Network Modeling . . . . . . . . . . . . . . . 111
Jan Larsen, Claus Svarer, Lars Nonboe Andersen, and
Lars Kai Hansen
6. Large Ensemble Averaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
David Horn, Ury Naftaly, and Nathan Intrator
Improving Network Models and Algorithmic Tricks
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
7. Square Unit Augmented, Radially Extended, Multilayer Perceptrons . . 143
Gary William Flake
8. A Dozen Tricks with Multitask Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
Rich Caruana
9. Solving the Ill-Conditioning in Neural Network Learning . . . . . . . . . . . . . 191
Patrick van der Smagt and Gerd Hirzinger
10. Centering Neural Network Gradient Factors . . . . . . . . . . . . . . . . . . . . . . . 205
Nicol N. Schraudolph
11. Avoiding Roundoff Error in Backpropagating Derivatives. . . . . . . . . . . . 225
Tony