英国学者T.贝叶斯1763年在《论有关机遇问题的求解》中提出一种归纳推理的理论，后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法。采用这种方法作统计推断所得的全部结果，构成贝叶斯统计的内容。认为贝叶斯方法是唯一合理的统计推断方法的统计学者，组成数理统计学中的贝叶斯学派，其形成可追溯到 20世纪 30 年代。到50～60年代，已发展为一个有影响的学派。时至今日，其影响日益扩大。（还记的我的老师在说起贝叶斯的时候说过，当初他提到的这个统计方法并不被社会主流接受，可现今看来，贝叶斯统计越来越受到关注，采用他的统计方法做学术研究的学者也越来越多）
       贝叶斯统计的两个重要观点：
       1、先验分布：它是总体分布参数θ的一个概率分布。贝叶斯学派的根本观点，是认为在关于θ的任何统计推断问题中，除了使用样本X所提供的信息外，还必须对θ规定一个先验分布，它是在进行推断时不可或缺的一个要素。贝叶斯学派把先验分布解释为在抽样前就有的关于θ的先验信息的概率表述，先验分布不必有客观的依据，它可以部分地或完全地基于主观信念。
       2、后验分布：根据样本 X 的分布Pθ及θ的先验分布π（θ），用概率论中求条件概率分布的方法，可算出在已知X=x的条件下，θ的条件分布 π（θ|x）。因为这个分布是在抽样以后才得到的，故称为后验分布。贝叶斯学派认为：这个分布综合了样本X及先验分布π（θ）所提供的有关的信息。抽样的全部目的，就在于完成由先验分布到后验分布的转换。如上例，设p=P（θ=1)=0.001，而π（θ=1|x)=0.86，则贝叶斯学派解释为：在某甲的指标量出之前，他患病的可能性定为0.001，而在得到X后，认识发生了变化：其患病的可能性提高为0.86，这一点的实现既与X有关，也离不开先验分布。
       当然，一个新的理论提出总会受到些争议，贝叶斯统计的理论一经提出也备受争议：
       贝叶斯学派与频率学派争论的焦点在于先验分布的问题。所谓频率学派是指坚持概率的频率解释的统计学家形成的学派。贝叶斯学派认为先验分布可以是主观的，它没有也不需要有频率解释。而频率学派则认为，只有在先验分布有一种不依赖主观的意义，且能根据适当的理论或以往的经验决定时，才允许在统计推断中使用先验分布，否则就会丧失客观性。另一个批评是：贝叶斯方法对任何统计问题都给以一种程式化的解法，这导致人们对问题不去作深入分析，而只是机械地套用公式。贝叶斯学派则认为：从理论上说，可以在一定条件下证明，任何合理的优良性准则必然是相应于一定先验分布的贝叶斯准则，因此每个统计学家自觉或不自觉地都是“贝叶斯主义者”。他们认为，频率学派表面上不使用先验分布，但所得到的解也还是某种先验分布下的贝叶斯解，而这一潜在的先验分布，可能比经过慎重选定的主观先验分布更不合理。其次，贝叶斯学派还认为，贝叶斯方法对统计推断和决策问题给出程式化的解是优点而非缺点，因为它免除了寻求抽样分布，（见统计量）这个困难的数学问题。而且这种程式化的解法并不是机械地套公式，它要求人们对先验分布、损失函数等的选择作大量的工作。还有，贝叶斯学派认为，用贝叶斯方法求出的解不需要频率解释，因而即使在一次使用下也有意义。反之，根据概率的频率解释而提供的解，则只有在大量次数使用之下才有意义，而这常常不符合应用的实际。这两个学派的争论是战后数理统计学发展中的一个特色。这个争论还远没有解决，它对今后数理统计学的发展还将产生影响。


说了这么多，相信以下链接能够让大家更多的了解贝叶斯统计。
贝叶斯统计与统计&WINBUGS软件专题
《贝叶斯计量经济模型》
贝叶斯书籍汇总，整合贡献给大家
统计决策论及贝叶斯分析(第二版)(James O.Berger).pdf
分享几个关于贝叶斯的书（蒙特卡洛）
茆诗松：贝叶斯统计学
统计决策论及贝叶斯分析的中文版和英文版
贝叶斯统计学电子书4本
贝叶斯统计 吴喜之
数理统计课件 贝叶斯估计 方差分析（浙大）
张尧庭 陈汉峰：贝叶斯统计推断
MCMC Methods -- Bayesian Analysis 贝叶斯分析讲义
贝叶斯统计学教材5本让你入门到高深