Online Normalization for Training Neural Networks

         Vitaliy Chiley   Ilya Sharapov    Atli Kosson    Urs Koster
  Ryan Reece     Sofía Samaniego de la Fuente     Vishal Subbiah    Michael James
                      Cerebras Systems
                    175 S. San Antonio Road
                    Los Altos, California 94022

                        Abstract
      Online Normalization is a new technique for normalizing the hidden activations
      of a neural network. Like Batch Norma ...