Towards Explaining the Regularization Effect of
   Initial Large Learning Rate in Training Neural
             Networks

          Yuanzhi Li                   Colin Wei
      Machine Learning Department           Computer Science Department
       Carnegie Mellon University             Stanford University
      yuanzhil@andrew.cmu.edu             colinwei@stanford.edu
                      Tengyu Ma
                  Computer Science Department
                    Stanford University
           ...