CDA人工智能学院：数据科学、人工智能从业者的在线学院。

数据科学（Python/R/Julia）数据分析、机器学习、深度学习

作者 | George Seif
编译 | 廖琴 孙梦琪
来源 | 读芯术

数据科学家都应该知道如何有效地使用数据并从中获取信息。下面是小编整理的五大实用型统计学概念，每个数据科学家都应该熟知，它们能让你在数据科学领域发挥得更加行云流水。

从定义来看，数据科学实际上指的是从数据中获取信息的过程。数据科学旨在解释所有数据在现实世界中的意义，而不仅仅局限于数字层面。

为了提取嵌入在复杂数据集中的信息，数据科学家使用了许多工具和技术，包括数据探索、可视化和建模。在数据探索中常用的一类非常重要的数学技术是统计学。

从实践层面上讲，采用统计学使人们能够对数据进行具体的数学总结。人们可以使用统计数据来描述部分数据的属性，而不必试图描述每个数据点。通常这就足以提取一些关于数据结构和组成的信息。

有时候，在听到“统计学”这个词时，人们总会想得过于复杂。的确，它可能是有点抽象，但并不总是需要借助复杂的理论来从统计技术中获得有价值的内容。

最基本的统计学知识往往在数据科学中最有实用价值。

本文为大家介绍5个用于数据科学的实用统计学知识。它们不是令人抓狂的抽象概念，而是极为简单的、可以应用的技术，且前景很好。

那么开始吧！

1. 集中趋势

数据集或特征变量的集中趋势是指集的中心值或典型值。也就是说，可能存在一个值可以(在一定程度上)最充分地描述数据集。

例如，假设正态分布以(100,100)为中心。那么点(100,100)就是中心趋势，因为在所有可选择的点中，它总结数据的效果最佳。

对于数据科学，可以使用集中趋势测度快速简单地了解整体数据集。数据的“中心”可能是非常有价值的信息，可以说明数据集究竟是如何产生偏差的，因为数据所围绕的任何值本质上都是有偏差的。

在数学上有两种常见的选择集中趋势的方法。

平均数

数据集的平均数指整个数据集围绕分布的一个平均数值。在定义平均值时，所有用于计算平均数值的权重都是相等的。

例如，计算以下5个数字的平均数：

(3 + 64 + 187 + 12 + 52) / 5 = 63.6

平均值对于计算实际的数学平均数非常有用。使用像Numpy这样的Python库计算也非常快。

中位数

中位数是数据集的中间值。也就是说，如果把数据从小到大(或者从大到小)排序，然后取集的中间值:这便是中位数。

接下来再次计算相同的5个数的中位数：

[3, 12, 52, 64, 187]→52

中位数与平均数63.6相差很大。二者没有对错之分，可视情况和目的选择其一。

计算中位数需要对数据进行排序——如果数据集很大，这就不实用了。

另一方面，中位数对离群值的鲁棒性要强于平均数，因为如果有一些非常高的离群值，平均数就会偏大或偏小。

平均数和中位数可以用简单的numpy单行代码计算：

numpy.mean(array)

numpy.median(array)

2. 分布

在统计学中，数据分布是指在更大的范围内，数据集中趋向一个或多个值的程度。

看看下面的高斯概率分布图——假设这些是描述真实世界数据集的概率分布。

蓝色曲线的扩展值最小，因为其大部分数据点都在一个相当窄的范围内。红色曲线的扩展值最大，这是因为大多数数据点所占的范围要大得多。

图中显示了这些曲线的标准差值，下一节中将进行解释。

标准差

标准差是量化数据分布最常见的方法。计算分五步进行：

1.求平均数。

2.求每个数据点到平均数距离的平方。

3.对步骤2中的值进行求和。

4.除以数据点的个数。

5.取平方根。

值越大意味着数据离平均数更“分散”。值越小意味着数据更集中在平均值附近。

用Numpy很容易就能计算出标准差：

numpy.std(array)

3. 百分数

百分数可用于进一步描述范围内每个数据点的位置。

百分数根据数据点在值范围中的位置高低来描述数据点的确切位置。

更准确地说，第p个百分位是数据集中的值，在该值处可以将其分为两部分。下半部分包含p %的数据，即第p个百分位。

例如，看下列11个数字：

13 5 7 9 11 13 15 17 19 21

数字15是第70百分位，因为当在数字15处将数据集分成两部分时，剩余70%的数据小于15。

百分数与平均数和标准差相结合，可以让人们很好地了解特定的点在数据分布/数据范围内的位置。如果它是一个异常值，那么它的百分数将接近于终点——小于5%或大于95%。另一方面，如果百分位数计算结果接近50，那么可知其接近集中趋势。

数组的第50百分位可以用Numpy来计算，代码如下:

numpy.percentile(array, 50)

4. 偏态

数据偏态用于衡量数据的不对称性。

正偏态表示值集中在数据点中心的左侧;负偏度表示值集中在数据点中心的右侧。

下图充分说明了这一点。

下面的公式可用于计算偏态：

偏态可说明数据分布与高斯分布的差距。偏态越大，数据集离高斯分布越远。

这很重要，因为若对数据的分布有一个粗略的概念，就可以为特定的分布定制要训练的ML模型。此外，并非所有ML建模技术都能对非高斯数据起作用。

在开始建模之前，再次强调，统计数据提供了重要的信息！

下面是在Scipy代码中计算偏态的方法：

scipy.stats.skew(array)

5. 协方差和相关性

协方差

两个特征变量的协方差可用于衡量二者的“相关性”。如果两个变量有正协方差，那么当一个变量增加时，另一个也会增加；当协方差为负时，特征变量的值将向相反的方向变化。

相关性

相关性也就是简单的标准化(比例)协方差，即两个被分析变量的积差。这将有效地促使关联范围始终保持在-1.0和1.0之间。

若两个特征变量的相关系数为1.0，则两个特征变量的相关系数为正相关。这也就意味着，如果一个变量的变化量是给定的，那么第二个变量就会按比例向相同的方向移动。

▲降维主成分分析(PCA)说明

当正相关系数小于1时，表示正相关系数小于完全正相关，且相关强度随着数字趋近于1而增大。这同样也适用于负相关值，只是特征变量的值朝相反的方向变化，而不是朝相同的方向变化。

了解相关性对于主成分分析(PCA)等降维技术非常有用。从计算一个相关矩阵开始——如果有两个或两个以上的变量高度相关，那么它们在解释数据时实际上是多余的，可以删除其中一些变量以降低复杂性。

关注“AIU人工智能实验室”，回复“录播”获取更多人工智能精选直播视频！

完 谢谢观看