该《统计机器学习》课程是 CMU 中进阶机器学习的研究生课程,授课老师是 CMU 的 Ryan Tibshirani 和 Larry Wasserman,所以想学习的读者可能需要有一些机器学习和中级统计学相关的背景知识。术语「统计」反映了该课程对统计学理论和方法论的重视。本课程将方法和理论基础相结合,且各项定理都从直观实践经验开始论述,所以有助于我们使用适当方法和工具来理解与实现这些理论。该课程包含了对
机器学习研究与学习十分重要的统计理论基础,包括非参数理论、一致性、极小极大估计和集中性度量等。
课程背景知识要求理解:
•依概收敛与依分布收敛
•中心极限定理与大数定律
•最大似然估计与 Fisher 信息
•贝叶斯推断
•回归
•正则化、偏差-方差权衡
•贝叶斯分类器、线性分类器和支持向量机
•行列式、特征向量与特征值
课程大纲:线性回归、线性分类、非参数回归、非参数分类、再生核希尔伯特空间(Reproducing kernel Hilbert spaces)、密度估计、聚类、高维检验、集中性度量(Concentration of measure)、极小极大理论(Minimax theory)、稀疏性和 lasso,还有概率图模型等。见课程安排,资料和视频可从一下网址免费获取:
http://www.stat.cmu.edu/~ryantibs/statml/