Top-KAST: Top-K Always Sparse Training

    Siddhant M. Jayakumar           Razvan Pascanu          Jack W. Rae
        DeepMind               DeepMind            DeepMind
    University College London       University College London
            Simon Osindero               Erich Elsen
              DeepMind                 DeepMind

                       Abstract
     Sparse neural networks are becoming increasingly important as the field seeks to im-
     prove the performance of existing mod ...