ch6_slides系引用
Hidden Markov Models for Time Series An Introduction Using R
这本书的教材.
大家有兴趣的话,可上作者网站
下载R code,data,及各章节slides

package "HMM" 采用
observation,transition probabilities,and emission probabilities
方法和 matlab相同.
然matlab有function  hmmtrain()
[guessTR,guessE,logliks] = hmmtrain(seqs,guessTR,guessE,varargin)
可以算出 log likelihood
如果楼主有用matlab的话,可以试试
在R的话,需要用到
observation,bw$hmm$transProbs,bw$hmm$emissionProbs加以编程

######in R
library(HMM)
# Initial HMM
hmm = initHMM(c("A","B"),c("L","R"),
transProbs=matrix(c(.9,.1,.1,.9),2),
emissionProbs=matrix(c(.5,.51,.5,.49),2))
print(hmm)
# Sequence of observation
a = sample(c(rep("L",100),rep("R",300)))
b = sample(c(rep("L",300),rep("R",100)))
observation = c(a,b)
# Baum-Welch
bw = baumWelch(hmm,observation,10)
print(bw$hmm)
#$transProbs
#    to
#from            A           B
#   A 9.974870e-01 0.002513041
#   B 5.296986e-06 0.999994703
#$emissionProbs
#      symbols
#states         L         R
#     A 0.2485981 0.7514019
#     B 0.7497916 0.2502084


%%%%%%%in Matlab
tr=[0.9 0.1; 0.1 0.9]
e=[0.50 0.50; 0.51 0.49]
load('123_HMM.txt')
x=X123_HMM';
[guessTR,guessE,logliks] = hmmtrain(x,tr,e)  

guessTR =

   0.9975   0.0025
   0.0000   1


guessE =

   0.2486   0.7514
   0.7498   0.2502

logliks=-554.4527 -553.5753 -546.9715 -518.1480 -484.5900
              -471.5483 -463.1453 -457.1819 -454.6034 -454.2221
              -454.1987 -454.1975 -454.1974

6# epoh
多谢高人指点，我安装了Matlab，也跑了你给我的程序，但是看不懂结果……为什么Loglikes会出来这么多个结果呢？AIC和BIC准则里的L怎么取呢……？以及对不假定分布的HMM来说，准则里的p值取多少呢？求教……

2# epoh
不好意思喔，因为是第一次发悬赏帖，我不知道选出最佳答案后100个币是不是会自动到你账上？如果你没收到，就随便上传个附件设置成100个币出售吧，我来下载，谢谢～～ o(∩_∩)o

哈哈!楼主太客气了!
倒是这个问题,我无法回答.
因为我也不知道.
楼主不用在意!

2#  
太谢谢你了……我要被论文急哭的时候遇到了牛人兼好人……我已经去问管理员这个悬赏帖到底是怎么回事了。。。


但看了你给我的EM notes，我又有问题了……

为什么要 take the N’th state to be a special state, the final or stop state呢？
而且Emission Prob Matrix不是N行M列行和为1么，为什么参数个数的第三项不是（M-1）*N，而是(N-1)*M呢？


然后我可以不 take the N’th state to be a special state么？这样的话是否可以这样确定参数个数：
（1）Transition Prob Matrix中行和为1，故每行有( N – 1 )个自由参数，N行共有N ( N – 1 )个自由参数

（2）Emission Prob Matrix中行和为1，故每行有( M – 1 )个自由参数，N行共有N ( M – 1 )个自由参数

（3）Initial Prob Vector中各元素之和为1，故有( N – 1 )个自由参数


最后 Number of parameters = N ( N – 1 ) + N ( M – 1 ) + ( N – 1 ) 。。。。。。

2# epoh

太谢谢你了……我要被论文急哭的时候遇到了牛人兼好人……我已经去问管理员这个悬赏帖到底是怎么回事了。。。


但看了你给我的EM notes，我又有问题了……

为什么要 take the N’th state to be a special state, the final or stop state呢？
而且Emission Prob Matrix不是N行M列行和为1么，为什么参数个数的第三项不是（M-1）*N，而是(N-1)*M呢？


然后我可以不 take the N’th state to be a special state么？这样的话是否可以这样确定参数个数：
（1）Transition Prob Matrix中行和为1，故每行有( N – 1 )个自由参数，N行共有N ( N – 1 )个自由参数

（2）Emission Prob Matrix中行和为1，故每行有( M – 1 )个自由参数，N行共有N ( M – 1 )个自由参数

（3）Initial Prob Vector中各元素之和为1，故有( N – 1 )个自由参数


最后 Number of parameters = N ( N – 1 ) + N ( M – 1 ) + ( N – 1 ) 。。。。。。

你只要看底下对parameters的解释 :
Theta is a vector of parameters.
It contains "THREE" types of parameters:
  -pi
  -a(j,k)
  -bj(o)  

及对应的数据,这样比较容易理解
pi1 = 1.0,  pi2 =0,  pi3 = 0
b1(e) = b1(f) = 0.5, b1(g) = b1(h) = 0
b2(e) = b2(f) = 0,    b2(g) = b2(h) = 0.5
a(1,2) = 1.0, a(1,1) =0, a(1,3) = 0
a(2,3) = 1.0, a(2,1) =0, a(2,2) = 0

13# epoh

好像有点明白了……琢磨中……谢谢学长（应该是学长吧呵呵）～～ o(∩_∩)o

还是请你随便传一个100币的附件上来吧～我这么弱，你还不厌其烦地帮我解答，这是应得的，不然我很不好意思……

忘了告诉楼主
matlab Econometrics Toolbox
有个function aicbic()可以帮你算
Definitions:
The AIC statistic is :
   AIC = (–2*LLF) + (2*NumParams).

The BIC statistic is:
   BIC = (–2*LLF) + (NumParams * log(NumObs)).

[AIC,BIC] = aicbic(LLF,NumParams,NumObs)

沿上例
LLF = -454.1974
NumParams= 6     %2+(2-1)*2+(2-1)*2 =6
NumObs=800

[AIC,BIC] = aicbic(LLF,NumParams,NumObs)

AIC = 920.3948
BIC = 948.5025