基于大数据技术的用户日志数据分析及可视化平台搭建项目代码及数据集

基于大数据技术的用户日志数据分析及可视化平台搭建项目代码及数据集.rar
大小:(21.05 MB)

只需: RMB 19元  马上下载

1.1.  项目背景

随着我国科学技术水平的不断发展，计算机网络技术的广泛应用，我国已经步入了大数据时代。在大数据背景下，各种繁杂的数据层出不穷，一时难以掌握其基本特征及一般规律,这也给企业的运营数据分析工作增添了不小的难度。在大数据的背景下，基于大数据前沿技术构建企业运营数据分析平台系统受到越来越多的企业的重视，在具体的数据分析工作中，也起到了越来越重要的作用。通过建立完善的运营数据后台管理系统，能够实现对分析展示系统的用户访问、业务操作及系统运行状态监控等进行有效管控。

1.2.  项目流程

模拟日志数据，通过字典构建、数据预处理将处理后的数据作为数仓的数据源、导入Hive中，通过ODS层、DWD层、DWS层和ADS层进行数仓的构建，共构建了27个数据表。最后通过Presto整合Hive，将SpringBoot项目连接Presto数据源进行前后端开发与前后端联调，最终通过Echarts图表呈现在Web界面中。具体流程图如下：