机器学习的数学-伯克利大学教科书
本文档旨在概述机器学习入门课程所需的数学背景，该课程在加州大学伯克利分校被称为CS 189 / 289A。
我们的假设是，读者已经熟悉多变量演算和线性代数的基本概念（在UCB Math 53/54级别）。我们强调，此文档不能替代先决条件类。这里介绍的大多数主题都涉及得很少。我们打算进行概述，并向有兴趣的读者指出更全面的处理方法，以获取更多详细信息。
请注意，本文档涉及机器学习的数学背景，而不是机器学习本身。我们不会讨论特定的机器学习模型或算法，除非可能是为了强调数学概念的相关性。
联合ntents
1关于1
2注释5
3线性代数6
3.1向量空间。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。6
3.1.1欧氏空间。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.6
3.1.2子空间 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。7
3.2线性图。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。7
3.2.1线性图的矩阵。。。。。。。。。。。。。。。。。。。。。。。。。8
3.2.2 Nullspace，范围。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。9
3.3度量空间。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。9
3.4规范空间。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。9
3.5内部产品空间。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。10
3.5.1勾股定理。。。。。。。。。。。。。。。。。。。。。。。。。。。。.11
3.5.2 Cauchy-Schwarz不等式 。。。。。。。。。。。。。。。。。。。。。。。。11
3.5.3正交补和投影。。。。。。。。。。。。。。12
3.6特征 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。15
3.7追踪 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。15
3.8行列式。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。16
3.9正交矩阵。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。16
3.10对称矩阵。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。17
3.10.1瑞利商 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。17
3.11正（半）定矩阵 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。18
3.11.1正定二次型的几何。。。。。。。。。.19
3.12奇异值分解。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。20
3.13线性代数的基本定理。。。。。。。。。。。。。。。。。。。。。。。21
3.14算子和矩阵范数。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。22
3.15低阶近似 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。24
3.16伪逆 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。25
3.17一些有用的矩阵恒等式。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。26
3.17.1矩阵向量乘积是矩阵列的线性组合。。。。。26
3.17.2作为矩阵矩阵乘积的外部乘积之和。。。。。。。。。。。。。。。。26
3.17.3二次形式。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。26
4微积分和优化27
4.1极值。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。27
4.2渐变。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。27
4.3雅可比 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。27
4.4黑森州。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。28
4.5矩阵演算 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。28
4.5.1连锁规则。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。28
4.6泰勒定理。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。29
4.7局部极小值的条件。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。29
4.8凸性。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。31
4.8.1凸集。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。31
4.8.2凸函数的基础。。。。。。。。。。。。。。。。。。。。。。。。。。。。。31
4.8.3凸性的后果。。。。。。。。。。。。。。。。。。。。。。。。。。。。。32
4.8.4表明函数是凸的。。。。。。。。。。。。。。。。。。。。。。。。33
4.8.5示例。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。36
5概率37
5.1基础 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。37
5.1.1条件概率。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。38
5.1.2链条规则。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。38
5.1.3贝叶斯规则 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。38
5.2随机变量。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。39
5.2.1累积分布函数。。。。。。。。。。。。。。。。。。。。。。。39
5.2.2离散随机变量。。。。。。。。。。。。。。。。。。。。。。。。。。。。。40
5.2.3连续随机变量。。。。。。。。。。。。。。。。。。。。。。。。。。。40
5.2.4其他种类的随机变量。。。。。。。。。。。。。。。。。。。。。。。。。40
5.3联合发行。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。41
5.3.1随机变量的独立性。。。。。。。。。。。。。。。。。。。。。。。。41
5.3.2边际分布。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。41
5.4期望很高。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。41
5.4.1期望值的性质。。。。。。。。。。。。。。。。。。。。。。。。。。。。42
5.5方差 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。42
5.5.1方差的性质。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。42
5.5.2标准偏差。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。42
5.6协方差 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。43
5.6.1相关 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。43
5.7随机向量。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。43
5.8参数估计。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。44
5.8.1最大似然估计。。。。。。。。。。。。。。。。。。。。。。。。。。44
5.8.2最大后验估计。。。。。。。。。。。。。。。。。。。。。。。。。45
5.9高斯分布。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。45
5.9.1多元高斯几何。。。。。。。。。。。。。。。。。。。。。45

关注 CDA人工智能学院 ，回复“录播”获取更多人工智能精选直播视频！