爱奇艺大数据分析平台的演进之路

爱奇艺技术产品中心  杜益凡
2018.11
大苹果树模型
目前大数据分析的挑战


20+  近30亿  300T+/天
业务线  用户设备  用户行为日志
起始时代

日志机  RSYNC  Hive      MySQL  报表系统


               JAVA
           SHELL
魔镜时代
                投递管理：根据业务注册投
                      递规范


                             投递管理：生成规范进入开
      定制计算：获得你的渴望
                                  发


    数据仓库：所有信息进入数                      投递验证：对投递进行测试
     据仓库待用                             验证


         Transfiguration: 日志变形，     AccioLog:日志飞来，将分
       ...