On the Implicit Bias of Initialization Shape:
                Beyond Infinitesimal Mirror Descent

    Shahar Azulay 1 Edward Moroshko 2 Mor Shpigel Nacson 2 Blake Woodworth 3 Nathan Srebro 3
                  Amir Globerson 1 Daniel Soudry 2

             Abstract                 parameterized models. Technically, these exact characteri-
                                 zations amount to identifying a function Q(w) of the model
  Recent work has highlighted the role of initial-       parameters ...