​写在前面

选型直播已经连续做了几期，前几期的形式，都是请到企业的高层，来阐述他们的产品有什么不一样，这样让各位IT决策者更高效的了解产品的本质，以便于做出后续决策。

后来有一些用户给我们反馈，说还不够过瘾，希望也能找一些用户来分享选型的一些经历。

于是就有了我们4月14日的直播，我们通过HPE大数据事业部总经理石建强，找到他们的典型用户——招联金融的研发总监姜良雷， 这位被称为大数据领域“老司机”的姜总，从1997年开始便在招商银行从事数据相关的工作；过去20年，亲历了招行历代数据库的建设与开发。2014年，参与了招联金融 （招行与联通的合资公司）的筹建，主导了招联大数据平台的选型和实施的全过程。

本期的访谈，将从姜总的选型故事开始讲起……

PART1

提问招联金融 姜良雷

殷勇（选型宝CEO）：

首先请姜总为我们介绍一下招联消费金融是一家怎样的公司？

姜良雷：

招联消费金融有限公司是经中国银监会批准、由招商银行与中国联通共同组建的消费金融公司，注册资金20亿。

作为由两大行业巨头发起成立的消费金融公司，招联金融于2015年3月18日正式开业。自建立之初、即确立了基于金融科技的“纯线上”轻运营模式。

目前，招联旗下拥有 “ 好期贷 ” 和 “ 信用付 ” 两大产品体系。

“ 好期贷 ” 是招联的互联网现金借贷产品，客户可实现在线申请，即时审批，快速到账，自由还款，额度循环使用。个人最高额度20万，最长借款期限36个月。

“ 信用付 ” 则是招联的互联网信用支付产品，为用户提供快捷、安全、便捷的互联网信用支付方式，可实现在线申请、即时审批，“先消费，后还款”，享受最长40天免息和最长60期的分期付款服务。目前主要在招联金融的自有电商平台以及合作商户消费场景中申请使用。

“好期贷”和“信用付”产品体系均具备多场景需求的适配能力，目前招联除了与母公司招行、联通的线上线下多个商圈打通外，还与教育培训、家居装修、医疗美容、航空旅游、O2O电商、物流等多个行业的优质机构展开全方位合作，尽可能满足不同收入群体差异化的消费金融需求。

另一方面，招联金融所面向的客户遍布全国各地，包括金融服务不充分的二三线城市和农村等地区（合计客户占比63%），用户涵盖传统银行业务覆盖不到的低学历（大专及以下学历客户占比72%）、中低收入年轻人群（34岁以下客户占比83%），户均贷款约5000元。

殷勇：

从成立到现在，深圳招联的各项业务数据经历了一个怎样的增长情况？

姜良雷：

2014年9月，银监会批复同意筹建招行与联通共同发起筹建招联消费金融有限公司；2015年3月18日，招联金融正式开业。关于最新招联业务数据，招商银行2016年年报披露：截止2016年末，招联金融累计授信客户704.5万户，累计发放贷款570.8亿元，贷款余额181.9亿元，不良率0.82%，净利润3.24亿元。

殷勇：

什么样的业务场景、业务需求下，产生了对大数据平台的需求？

姜良雷：

对招联而言，一个重要的使命是在社会的新业态下、探索新的业务模式，服务于传统银行所不覆盖的大量基础个人客户。

这决定了招联的模式是以线上业务为主的，由于线上业务是非面对面的业务，技术、数据必然是核心竞争力必备项，在公司筹建之时，领导层认为公司要建立自己的数据的处理、分析能力。

因此，在选择业务方向的同时，公司随即着手准备大数据平台的筹划。这是由公司业务特性决定的必然选择，大数据平台是一个天然的需求。招联金融是持牌机构中首家推动“金融上云”、去IOE、首家试水互联网征信、首家实现放贷场景化的消费金融公司。

殷勇：

传统数据仓库的解决方案为什么无法满足您的需求？

姜良雷：

单纯从技术上看，传统数据仓库的解决方案，能满足公司最基本的需求。但是也有一些明显的不足之处：

1、存在高投入的问题；从过去银行业数仓建设的历程来看，投入非常大，无论是Oracle、IBM、TD都需要很大的投入。而招联正处于刚起步的创业阶段，这种高投入是公司无法承受的，这也是很多小公司、特别是创业型公司无法从一开始就考虑建设数仓的原因。对我们来说，找到一个投入合适的产品作为大数据平台的起步尤为关键。

2、传统的数仓，往往处于一个很封闭的环境，其承载了公司业务系统的历史数据及其之上的数据统计、经营分析等工作，主要是关系型数据的处理。

但在互联网发展迅捷的当下，我们需要处理更多来源的数据，因此，平台的架构需要保持良好的外联型，能与互联网流行的技术和数据形态进行整合，而传统的数仓解决方案都比较封闭，整合起来困难，庞大的体系也决定了他们对新事物的适应速度较慢。

3、互联网的发展衍生出很多新的数据处理方法、工具等，区别于传统数据分析的，这些新鲜血液给数据应用带来了强大的生命力。如何有效地整合这些技术，也是我们所必须考虑的问题。

4、在做数据分析时，我们往往会对例如客户等数据建立多种标签，造成必然存在数据稀疏的宽表的形态，但统计分析时并不会每次全用到，这样基于行存储的数据库无法很好地解决这个问题。前述的四点，都是传统数仓平台所存在的不足

殷勇：

技术架构上，有没有比较过其他的架构，例如hadoop，您认为怎样的架构更适合深圳招联?

姜良雷：

从技术层面看，实际上没有任何一个产品能100%满足数据分析的需求，他们的存在均有其合理性。无论是Vertica还是Hadoop生态圈，都是各有擅长及不足的数据分析工具。

这方面不需要纠结，最重要是选择适合自己的。Hadoop我们也考察过，目前也在使用，处理非结构化数据和流式数据的表现不错，但是做多表关联就不是很擅长了。

Hadoop的强项是大并发吞吐量、NoSQL的数据架构，非常适合基于日志类型的数据处理；但针对低延迟数据访问、大量的小文件处理、多用户写入，事务管理无法满足现有需求。

招联金融对数据安全和数据隐私管理的要求非常高，因此我们在做技术选型时必须以“数据的安全性”作为第一重要的事情考虑。其他需求在该准则前必须让步，hadoop的稳定性和数据安全保障与招联的需求有一定的差距，在Hadoop平台上要做好这个安全保证，需要很大的投入，是创业初期的我们无法承受的。

殷勇：

对于大数据平台的选型，您认为应该重点考察那些角度？

姜良雷：

数据安全性的保证，这是重中之重。尤其是数据的基础平台，存在大量的数据，数据是很宝贵的，有些数据是无法重新生成的，因此安全性非常重要。

性能也是必须考虑的，时间对数据平台来说永远是紧缺的。没有好的性能，数据的价值会被打很大的折扣，过时的数据分析结论是没有价值的。这要求数据平台要在数据加载、统计处理、结果查询上，都必须具备良好的性能。

系统本身的稳定性，不能常出问题。在常规的情况下，所有商用系统基本上都能做到。但在用户资源隔离上就各有千秋了，高并发是否会因为一个用户的问题而让所有用户受影响必须注意的，同时在其他特殊场景下能否稳定也是要考虑的，如一个节点失联，系统是瘫痪、部分可用还是只是性能下降等。

系统的平滑扩展性。一旦选定数据基础平台，若要更换那是一件伤筋动骨的事，能否平滑扩展，决定了能否保护前期投入，以及未来放心一直使用的重要考量。目前所有MPP架构都能做到可扩展，是否平滑需要测试看结果。不再多叙了，需要注意两点：

其一，能否在线扩展或扩展所需时间比较短，对数据基础平台时间永远不够用，没有太多的时间让大家停机做扩展；

其二，扩展后性能的提升是否逼近线形，特别是需要大量节点的平台，到一定节点数后性能是否还能满足。这一点Vertica不错， Facebook的先例可供参考。

管理的难易程度和操作的易用性。看似灵活的设置对小公司没那么重要。反倒是易于管理和标准化的处理才是系统稳定的关键。此外，能否非常方便和常用的ETL、数据查询、分析工具的集成也是要考虑的因素，不要选择非常难集成的，会增大使用难度。

对于不确定的数据查询和分析的适用性，固定的分析逻辑、报表已经无法满足业务对数据使用的需求，这要求业务部门开始逐步学习掌握一定的简单SQL等分析能力，导致看似不合理的SQL查询会频繁出现，系统能否自动优化，并配合策略部署，保证整体系统的稳定性也很重要。

至于功能方面，基本功能都差不多，我们关注的点主要有：

其一、能否同时支持流和批量数据导入方式；

其二、需要对sql接口有很好的支持，能够同时支持专业的IT人员和对IT技术了解并不是很深入的业务分析人员使用；

其三、有丰富的分析功能，能够通过深度分析数据来增强应用深度和广度。这些大家都能支持，各有千秋，最重要是选择自己合适的。

殷勇：

您在选型过程中，比较过哪些厂商，都进行了怎样的比较？最后为什么选择Vertica? Vertica的哪些特征打动了您？

姜良雷：

招联是一家初创公司，在技术选型时，我们比较了包括Oracle / GreenPlum / TD / Vertica等在内的多个产品：首先，非MPP架构的产品因其可扩展性差，不是未来的方向；环境搭建复杂的、价格昂贵的显然不适用；有Master主控节点的， Master节点会是系统的性能瓶颈，也是单节点故障风险点，最好要避免。

在POC测试中，我们重点测了以下几个方面：

首先是性能：

Vertica在性能上表现非常好，我们进行了测试，用2.8亿用户数据，10亿的行为数据，进行表关联查询，十几分钟就结束了，仅仅是基于6台PC服务器组成的机群。

第二是高可用性 ：

高可用性方面，我们刻意做过测试，强行下线了一个节点，结果发现节点宕机，只是对性能有些影响， 没有影响到其他节点对外提供服务，很多时候应用系统和分析人员对服务器单点故障没有明显感知。

另外在系统的稳定性方面，我们做了各种破坏性的测试，包括故意删除部分数据文件、节点关机、kill相关进程等，最终数据库都得以成功恢复。

总结起来，Vertica打动我们的主要有几方面：

1、K-Safe的安全机制保证了我们不需要投入太高性能的机器，让我们可以用PC-Server就能构建数据平台，从硬件上投资少，获得容易。

2、良好的平滑扩展性，让我们可以根据实际数据量从小到大地配置资源，并在需要时进行低成本扩展。

3、较少的管理需要，让我们省心，不需要非常复杂的管理。

4、优秀的性能，在做2个表都是千万、亿级数据表关联时在6台PC-Server+本地存储的条件下，提供了不亚于高性能服务器的性能。

5、列式数据库使我们可以放心地建立稀疏的宽表、以满足复杂的应用，按列压缩节省大量空间，只有用到得列才被读取，而不担心存储和查询性能。

6、和R/Hadoop的集成能力，我们可以在需要时对整个大数据平台进行一体化整合。

殷勇：

实施部署是一个怎样的历程？有什么建议提醒可以分享给各位同行的吗？

姜良雷：

我们的实施部署还是相当顺利的，包括系统上线后，由于业务快速增长而发起的两次迁移操作，都是在没有影响业务前提下完成的。只要前期做好规划和测试演练，不会出现什么特别的问题。

使用中的建议主要有如下几个：

1、做好监控和系统健康检查，这是系统稳定运行的基石；

2、注意负载均衡，注意业务系统做配套的高可用性设置，这样即使是单点故障，不会给业务连续性造成影响；

3、所有Mpp架构，都会存在节点间数据交换，这需要在数据表设计时，注意数据节点间分布方式，结合实际业务需要，尽量减少计算时的数据重分布。我们到现在，因为数据节点间的分布比较合理，除个别典型查询场景外，其他查询并没有做专门的优化。

最后，注意资源隔离、分配与控制，把握资源控制的度，并根据实际情况调整，既在最大程度上保证单个任务请求资源，也需要保证系统整体性能不受影响。

殷勇：

上线之后，数据处理能力带来了那些改变？

姜良雷：

我们是从0开始建设的，没有对比，不好说有什么变化，只能说一下我们实际的情况。

首先，关于数据入库和计算的效率，现在，招联在T+1的数据处理中,每天Satge区，入库各种原始暂存的、临时的数据量大概是2.5T，同时并发做非常多的复杂计算、数据整理，留下有效数据，剔出无效数据，数据入库、计算等是交错在一起进行的。Vertica可以支持这些计算在3个小时内完成；

第二，招联有上百个数据分析工程师、应用开发工程师和业务分析专家分布在IT部、风控部、运营部、作业中心，他们有IT专家、业务专家、底层数据统计人员，IT的技能从高到几乎没有，各层级都有，他们基于vertica分析平台完成其日常工作，并且有大大小小十几个应用以vertica为基础平台部署。vertica强劲的数据处理能力，使我们的在线应用和业务分析工作可以几乎不需要关注性能问题，sql是否合理等技术问题，专心完成业务需求。

关于vertica的稳定性，有一个小例子，曾经我们有一个业务部门的人员写了一个查询条件，用专业的角度看，可以说是该犯的错误都犯了，但vertica对此予以自动优化，并且执行了这个查询。

这种看似不合理的查询会频繁地出现，这是难以避免的。系统能否自动地完成优化，并且根据你厘定的策略、提前布置好的策略去执行，保证系统的稳定性，这是一个很重要的方面，而vertica这方面的表现，让我们比较满意。

殷勇：

数据分析能力提升，有没有带来一些业务层面的创新，即为用户创造新的服务形态？

姜良雷：

一个比较典型的案例是CRM中的客户营销服务：在现有的数据分析能力下，运营人员可以根据来源于业务系统、合作方、互联网公开信息等的客户标签信息，实时、自助地创建目标客群，然后立刻从多个维度自助分析客群特性，并和其它客群或公司整体客户的特性做比对、分析；并根据分析结论有针对性的制定营销策略、及时回顾效果，调整策略；发起千人千面的营销活动。

整个过程完全是实时的，且完全由业务部门自助处理，不需要任何IT人员支持。其最重要的意义在于：减少业务和IT人员沟通成本、信息传递过程中的衰减，以便于快速开展业务。

查看全文请点击链接或查看附件：

[url=]招联金融研发总监姜良雷讲述大数 ...[/url]