ViLT: Vision-and-Language Transformer
               Without Convolution or Region Supervision

                    Wonjae Kim * 1  Bokyung Son * 1 Ildoo Kim 2

             Abstract                                    Visual Embedding Schema
                                    Region Feature                   CNN         Region
   Vision-and-Language Pre-training (VLP) has im-          (ViLBERT, UNITER, ...)
                                                   Image
                               ...