Scaling Properties of Deep Residual Networks

              Alain–Sam Cohen 1 Rama Cont 2 Alain Rossier 2 1 Renyuan Xu 2
                                     (L)                        (L)
              Abstract               where hk is the hidden state at layer k = 0, . . . , L, h0 =
                                           (L)
    Residual networks (ResNets) have displayed im-      x ∈ Rd the input, hL ∈ Rd the output, σ : R → R is a non-
    pressive results in pattern recognition and, re- ...