上海CDA数据分析师培训_数据分析师职业发展白皮书


     大数据时代，数据分析师是技术也是艺术，CDA研究院和业界前沿公司和对数据分析的认识 ，

      欢迎大家报考人大经济论坛的CDA数据分析师培训班：cda.pinggu.org

      数据是指以时间为轴，记录人物、地点、事件和方法等生活各个维度的数字字符。数据会随着时间不断累积，也会随着科技、生活观念等变化而呈现出不同的特性。消费者去商场用现金支付的方式购买了一件心仪的衣服，商店的日销售报告中记录了此次交易的金额、数量、款式和型号。当消费者采用的是刷卡的支付方式时，银行的日流水单以及商店的 Pose 机刷卡记录就产生了一笔时时交易数据。如果该消费者还是这家商店的会员，那么该商店就拥有了该消费者部分基本信息以及多次购买产品的交易记录。 随着互联网、自动化科技的发展， 消费者更多的参与了 线上交易，那么线上交易平台会产生消费者常用地址、联系方式、 偏好产品、产品型号、消费额度和消费频率等全面而及时地消费数据。

在传统的商业和社会环境下，人们对于数据的利用是非常有限的。企业和商家们利用自身的营销数据汇编成财务报告、信息披露报告，用来为管理层或者潜在投资者？供企业经营状况的参考资料。政府各个机构拥有的人口、宏观指标、地区发展、部门业务发展等各方面的数据为定期政府报告等特定事项提供数据服务。数据成为我们衡量过去发展状况和业绩水平的一种度量衡。 传统意义上对于数据利用存在的缺失是不可忽视的。

首先，传统意义上对于数据的利用形成了无数个数据孤岛。宏观数据、调研数据、社会化数据和企业数据之间存在数据孤岛，而政府内部和企业内部同样存在数据孤岛。 各个政府部门、甚至每个政府部门内部都有自身因专门的业务内容而产生专项数据，但是这些专项数据仅仅在服从专项需求时才被局部调用。企业内部也是这样，除了必要的信息披露之外，企业各部门之间的数据也是缺乏协同和共享机制的。数据孤岛的存在比我们想象得还要多而广泛，也极大地降低了对数据的利用。

其次，传统数据存在缺失和错误的比率较大。商务系统和互联网尚未发展的情况下，企业和社会运营的数据很多是通过人工的方式进行记录的，因此就很容易存在数据缺失和数据失实的情况。更重要的是，很多数据的产生需要大量的人力、物力去完成，在不可估量商业价值的情况下，数据的累积往往具有很强的延时性。

再次，数据的价值被低估， 缺乏专业的数据分析人员对数据的商业和社会价值进行分析。我们会发现，传统意义上的数据管理是基于某些特定的目的和需求，例如定期的信息披露，盈余管理和预测等。但是这些目的和需求都不是为了能够创造价值而设立的，更多的是一种业务和管理层面的辅助。在缺乏商业利益动机的前提下，也就没有专业数据分析师存在的必要。

近两年国内 市场对数据分析师职位的需求逐步涌现。 根据猎聘网数据显示，全国中高端职位中数据分析师职位由 2014 年初的 200 多个职位逐步增长到接近 3000 个职位，数据分析师职位无论从绝对数到相对数量而言都出现了快速增长的态势。就地区发展而言，数据分析师职位主要分布在北京、上海、杭州、深圳和广州的一线城市，二线城市目前对于数据分析师的需求相对滞后。分析师职位主要集中在互联网、金融、消费品、制药和医疗等行业，其中互联网和金融行业的分析师职位数超过了 80%。 目前数据分析师的薪酬水平高于行业平均水平，体现出数据分析师以及数据的价值正在逐渐被市场所认可。

数据分析师职位的大量涌现和对数据分析师市场价值的认可主要是基于数据分析3.0时代的到来。1954-2005年，电脑设备广泛应用，数据库的初步形成；2005-2013年，互联网蓬勃发展，互联网公司为了解决自身数据量较大、数据复杂的问题引入了解决数据问题的分析工具；2013 年至今， 传统行业开始引入互联网行业中运用的数据分析方法，数据分析3.0时代开启。2013年至今，数据相关企业迅速发展，包括为数据？供分析、服务、软件和硬件相关的商业化和开源公司。鉴于互联网行业对于大数据分析成功的经验，市场开始重视数据和数据分析对创造商业价值的重大潜力。

大数据时代我们拥有的数据是足够大的。在互联网的世界里，每分钟 Facebook平均有600次的访问量，并有新增用户28万；Amazon 每分钟销售高达8.3万美元；全球 IP 网一分钟能够传输639TB的数据；你需要花费5年的时间才能看完互联网上一秒钟传输的视频。同时，大数据时代的数据开始逐步走向多元化的趋势。 数据来源包括移动数据、店面交易、网络行为、定位信息、电商、用户调查、社会网络以及企业CRM 等。大数据时代可视化趋势明显，开始重视展示数据的在线动态模式以及分布形态。 数据可视化是一种新的数据分析手段、一种叙事手段，并且包含了思考和批判的思维。通过数据可视化的方式，我们能够探查数据之间的关联。随着技术的发展，可视化将推动数据时时动态，以及自动化更新和发布的发展。

但是无论数据的形态和体量发生了何种变化，缺乏数据分析的数据本身是不具备商业价值的。数据分析能够为大数据时代带来质的飞跃。SAS 公司将数据分析分为了八个等级，分别是常规报表、查询、多维分析、警报、统计分析、预报、预测建模和优化。常规报表、查询、多维分析、警报，这数据分析的前四个等级都只能展示已经发生的历史状况，但是数据分析不仅仅如此。 统计分析能够帮助我们找到触发事件发生的相关因素、 确认最为有效的潜在交易方案。 预报可以告诉我们未来股市预期变动或者是企业未来盈利水平预期。 预测建模可以帮助金融机构预测新的金融产品的潜在客户。 运筹优化能够帮助企业在限定的条件下把握最优的业务机会。

数据分析的核心思路就是要与实际业务、商业目的和运营目标相结合，进而为社会、经济和个体创造价值。 数据分析与业务流程相结合可以体现为五个基本步骤，包括认知、运营、交互、销售和维护。商业运营要与数据分析的关键指标紧密联系，用数据提高产品市场营销效率和推广效率。大数据的维护和累积能够为商业运营描绘完整的企业画像、客户画像。大数据画像包括了了解企业或者客户的基本信息、需求倾向、用户行为等等。通过追踪核心的数据指标，进一步完善企业或者客户画像，进而将其转化成为产品元素和营销战略。通过数据分析，我们可以知道通过什么渠道、以最小的成本将竞争对手的客户 转化为自身的客户， 进而创造营业收益。 通过大数据与运营维护的结合可以很大程度上提高客户满意度，降低客户的流失率。

目前数据分析实践的运用主要体现在物联网、定位服务、客户制成以及反欺诈领域。首先是物联网领域。以 UPS 为例， UPS 每天通过 5 万台快递车派送约 1630 万个包括。 UPS 在每台快递车上都安装了传感器，并且通过传感器传输数据分析，制定每天每台车少跑一英里的运营战略，该战略为 UPS 每年实现了约 3000 完美元的盈利。其次是定位服务。以美洲银行为例，美洲银行为其客户？供汉堡王的优惠券。该优惠券以美洲银行客户刷卡记录数据为基础，判断汉堡王潜在竞争对手的客户，并对这些客户进行了定向、定位的优惠券推送。该项营销战略既维护了美洲银行客户，也为汉堡王实现了创收。再次是客户支撑。通过文本挖掘、自然语言处理、情感分析等手段，对客户评论、客户投诉、海外舆情、媒体报道数据进行分类处理， 进而充分掌握客户潜在的需求，达到及时有效维护客户的商业目的。最后是反欺诈领域。最典型的例子就是保险公司骗保。我们都过神经网络分析等多元的数据分析方法及时识别和判断已有的欺诈模式和潜在的欺诈人群，进而有效的进行客户管理，确保企业运营和效益。

在传统的数据分析模式下，我们通常是先提出假设检验，后带着问题去进行数据分析。在大数据时代下，我们更重要的是关注小数据完善和收集的同时，构建完善的数据交互平台。在先有数据的基础上，在数据中找寻新的思路和创新机遇，进而实现价值的飞跃。在数据爆炸和新媒体时代的背景下， 文字、图片、 视频、 网络数据等新兴的数据模式使得我们需要掌握和运用全新的数据处理方式。 同时， 我们还需要对数据进行生命周期的管理， 对非结构数据进行筛选和标签化。数据分析看重的是数据的多元性和数据的质量，我们需要构建起大数据谱系， 同时结合数据的特性采用不同的数据分析方法、分析工具和分析模型。因此，数据分析需要较为综合的思维和能力。

综上可知，数据分析是一门技术也是一门艺术，数据分析起源于生活，也为生活创造着新的价值。 从事数据分析师需要累计多元化的知识和素质，包括统计学、机器学习、工程、可视化、深刻行业知识、强数据库能力，炼精炼信息的能力、运筹学等。数据分析师还需要具备怀疑态度以及创造能力，才能将数据的技术和艺术相结合，使得数据分析能够业务相结合，更加贴近我们的生活。 多元化的学识背景以及对于生活的感知能够造就一名优秀的数据分析师。 大数据时代已经来临，数据分析行业的急速扩展必然给数据分析师们带来广阔的发展空间。数据分析师是一门需要掌握多元数据分析技术，是拥有生活感知、经济分析能力的高端人才就业岗位。

目前，数据分析师行业仍然处于发展的初期阶段，也就存在着发展初期必然有的一些问题。数据分析整体的发展区域集中在几个少数的一线城市，发展和就业机会相对还是比较有限的。数据孤岛仍然在很大程度上未被消除，需要政府和政策上进一步对此进行扶持和推动。数据分析全自动化流程尚未形成，半自动化的数据环境下，数据分析还是存在时间延迟和残缺等一系列的问题。 上述几个方面都需要政府相关部门、行业领军人物以及数据分析浪潮的每个参与者共同努力。

二、 数据分析师职业发展历程
数据分析师，是指在互联网、金融、电信、医疗、旅游、零售等多个行业专门从事数据的采集、清洗、处理、分析，能够利用统计数 据、定量分析和信息建模等技术制作业务报告、进行行业研究、评估和预测，从而为企业或所在部门提供商业决策的新型数据分析人才。