机器学习经典书籍

前面有一篇机器学习经典论文/survey合集。本文总结了机器学习的经典书籍，包括数学基础和算法理论的书籍。本文会保持更新，欢迎推荐。

入门书单

• 《数学之美》 PDF

  52

  
  作者吴军大家都很熟悉。以极为通俗的语言讲述了数学在机器学习和自然语言处理等领域的应用。
• 《Programming Collective Intelligence》（《集体智慧编程》）PDF

  31

  
  作者Toby Segaran也是《BeautifulData : The Stories Behind Elegant Data Solutions》（《数据之美：解密优雅数据解决方案背后的故事》）的作者。这本书最大的优势就是里面没有理论推导和复杂的数学公式，是很不错的入门书。目前中文版已经脱销，对于有志于这个领域的人来说，英文的pdf是个不错的选择，因为后面有很多经典书的翻译都较差，只能看英文版，不如从这个入手。还有，这本书适合于快速看完，因为据评论，看完一些经典的带有数学推导的书后会发现这本书什么都没讲，只是举了很多例子而已。
• 《Algorithms of the Intelligent Web》（《智能web算法》）PDF

  14

  
  作者Haralambos Marmanis、Dmitry Babenko。这本书中的公式比《集体智慧编程》要略多一点，里面的例子多是互联网上的应用，看名字就知道。不足的地方在于里面的配套代码是BeanShell而不是python或其他。总起来说，这本书还是适合初学者，与上一本一样需要快速读完，如果读完上一本的话，这一本可以不必细看代码，了解算法主要思想就行了。
• 《统计学习方法》 PDF

  36

  
  作者李航，是国内机器学习领域的几个大家之一，曾在MSRA任高级研究员，现在华为诺亚方舟实验室。书中写了十个算法，每个算法的介绍都很干脆，直接上公式，是彻头彻尾的“干货书”。每章末尾的参考文献也方便了想深入理解算法的童鞋直接查到经典论文；本书可以与上面两本书互为辅助阅读。
• 《Machine Learning》（《机器学习》） PDF

  36

  
  作者Christopher M. Bishop[6]；简称PRML，侧重于概率模型，是贝叶斯方法的扛鼎之作，据评“具有强烈的工程气息，可以配合stanford 大学 Andrew Ng 教授的 Machine Learning 视频教程一起来学，效果翻倍。”
• 《The Elements of Statistical Learning : Data Mining, Inference, andPrediction》，（《统计学习基础：数据挖掘、推理与预测》第二版） PDF

  6

  
  作者RobertTibshirani、Trevor Hastie、Jerome Friedman。“这本书的作者是Boosting方法最活跃的几个研究人员，发明的Gradient Boosting提出了理解Boosting方法的新角度，极大扩展了Boosting方法的应用范围。这本书对当前最为流行的方法有比较全面深入的介绍，对工程人员参考价值也许要更大一点。另一方面，它不仅总结了已经成熟了的一些技术，而且对尚在发展中的一些议题也有简明扼要的论述。让读者充分体会到机器学习是一个仍然非常活跃的研究领域，应该会让学术研究人员也有常读常新的感受。”[7]
• 《Data Mining：Concepts andTechniques》（《数据挖掘：概念与技术》第三版） PDF

  2

  
  作者（美）Jiawei Han[8]、（加）Micheline Kamber、（加）Jian Pei，其中第一作者是华裔。本书毫无疑问是数据挖掘方面的的经典之作，不过翻译版总是被喷，没办法，大部分翻译过来的书籍都被喷，想要不吃别人嚼过的东西，就好好学习英文吧。
• 《AI, Modern Approach 2nd》 PDF

  1

  
  Peter Norvig，无争议的领域经典。
• 《Foundations of Statistical Natural Language Processing》 PDF

  4

  
  自然语言处理领域公认经典。
• 《Information Theory：Inference and Learning Algorithms》 PDF

  2

• 《Statistical Learning Theory》 PDF

  2

  
  Vapnik的大作，统计学界的权威，本书将理论上升到了哲学层面，他的另一本书《The Nature ofStatistical Learning Theory》也是统计学习研究不可多得的好书，但是这两本书都比较深入，适合有一定基础的读者。
  

数学基础

• 《矩阵分析》 PDF

  14

  
  Roger Horn。矩阵分析领域无争议的经典
• 《概率论及其应用》 PDF
  威廉·费勒。极牛的书，可数学味道太重，不适合做机器学习的
• 《All Of Statistics》 PDF 扫描版

  6

  PDF
  高清版

  8

  
  机器学习这个方向，统计学也一样非常重要。推荐All of statistics，这是CMU的一本很简洁的教科书，注重概念，简化计算，简化与Machine Learning无关的概念和统计内容，可以说是很好的快速入门材料。
• 《Nonlinear Programming, 2nd》 PDF

  3

  
  最优化方法，非线性规划的参考书。
• 《Convex Optimization》 PDF

  6

  配套代码

  3

  
  Boyd的经典书籍，被引用次数超过14000次，面向实际应用，并且有配套代码，是一本不可多得的好书。
• 《Numerical Optimization》 PDF

  3

  
  第二版，Nocedal著，非常适合非数值专业的学生和工程师参考，算法流程清晰详细，原理清楚。
• 《Introduction to Mathematical Statistics》 PDF

  1

  
  第六版，Hogg著，本书介绍了概率统计的基本概念以及各种分布，以及ML，Bayesian方法等内容。
• 《An Introduction to Probabilistic Graphical Models》 PDF

  9

  
  Jordan著，本书介绍了条件独立、分解、混合、条件混合等图模型中的基本概念，对隐变量（潜在变量）也做了详细介绍，相信大家在隐马尔科夫链和用Gaussian混合模型来实现EM算法时遇到过这个概念。
• 《Probabilistic Graphical Models-Principles and Techniques》 PDF

  4

  
  Koller著，一本很厚很全面的书，理论性很强，可以作为参考书使用。
• 具体数学 PDF

  4

  
  经典