Training Recurrent Neural Networks via Forward Propagation Through Time

                      Anil Kag 1 Venkatesh Saligrama 1

             Abstract               empirical risk function:
  Back-propagation through time (BPTT) has been                                     N T
  widely used for training Recurrent Neural Net-                                  1 XX i i
                                 [W  , v  ] = arg min L(W, v) =                `(yt , yt )
  works (RNNs). BPTT updates RNN para ...