那么上面提到的Hadoop系统,内部是怎样的?
Hadoop 平台系统为了满足金融领域服务需求,系统内部架构采用MVC 的模式进行设计:
- 首先,系统上层,通过接口模块和展示模块,从外部系统获取资源,然后将处理后的结果通过展示模块进行展示。
- 系统中间处理层,会针对不同的业务需求提供不同的业务处理功能模块,对数据进行加工处理和数据算法挖掘,以便生成满足需求的各种数据。
- 系统底层,利用Hadoop 平台系统,进行数据大规模存储,提供HBase 数据库,进行非结构化的数据存储。
每个功能模块的具体说明如下:
主要功能是为系统提供加工处理的源数据。在金融银行业中,这些源数据是他们的核心业务数据。
主要功能是针对不同的数据源和数据格式,提供对应的数据导入处理方法。
主要功能是根据业务处理需要和系统运行需要提供对应的功能处理模块,功能应用模块中包含数据挖掘算法、业务处理流程等。
主要功能是提供HBase 数据库,对非结构化数据进行统一存放管理,提供HDFS 文件系统,提供数据多副本备份存储管理。
对处理后的结果进行Web 页面展示,同时还要根据原有系统的需求,提供不同的数据展示处理方式。
金融银行业对数据存储安全要求非常高,因此系统必须设计异地容灾备份存储。应将Hadoop 平台系统软件在不同的机房集群中进行部署,系统采用主备集群的模式进行部署,通常采用的物理部署结构如下图所示。