Towards Domain-Agnostic Contrastive Learning

         Vikas Verma 1 2 Minh-Thang Luong 1 Kenji Kawaguchi 3 Hieu Pham 1 Quoc V. Le 1

              Abstract                (Dai & Le, 2015; Howard & Ruder, 2018; Peters et al., 2018;
                                 Radford et al., 2019; Clark et al., 2020), and speech recog-
    Despite recent successes, most contrastive self-
                                 nition (Schneider et al., 2019; Baevski et al., 2020). These
    supervised learning met ...