第十一章    马氏链模型

一、预备知识。
1、随机过程的概念。
   定义：设集合 是一族随机变量， 是一个实数集合，如果对于任意 ， 是一个随机变量，则称 是一个随机过程。
其中：
（1） 为参数可以认为是时间， 为参数集合。
（2）随机变量 的每一个可能值，称为随机过程的一个状态。其全体可能值构成的集合，称为随机过程的状态空间，用 表示。
（3）当参数集合 为非负整数集时，随机过程又称为随机序列。随机序列可用