文章目录
  1. 1. HMM
  2. 2. CRF

HMM

隐马儿可夫模型(hidden Markov model,HMM)是描述隐藏的马尔科夫链随机生成观测序列问题,属于生成模型。

HMM描述了一个隐藏马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生的观测随机序列的过程:

  1. 隐藏马尔科夫链随机生成的状态随机序列,称为状态序列
  2. 每个状态生成一个观测,由此产生的观测的随机序列,称为观测序列
  3. 序列的每个位置可以看做一个时刻

HMM由初始概率分布、状态转移概率分布以及观测关于分布构成,定义如下:
$$ Q = \{q_1,q_2,…,q_n \} , V = \{v_1,v_2,…,v_m\}$$

其中$Q$可能是所有可能状态的集合,长度为$N$;$V$是所有可能观测的集合,长度为$M$

$I$对长度为$T$的状态序列,则$O$为对应的观测序列:
$$ I = (i_1,i_2,…,i_T) , O = (o_1,o_2,…,o_T)$$

  • $A$是状态转移概率矩阵:$$ A = [a_{i,j}]_{N \times N}$$ 其中$ a_{i,j} = P{i_{t+1} = q_j | i_{t} = q_i}$,表示$t$时刻下为状态$q_i$转移到$t+1$时刻$q_j$状态的概率

  • $B$是观测概率矩阵:$$B = [b_j(k)]_{M \times M}$$ 其中$b_j(k) = P(o_t = v_k | i_t = q_j )$,表示$t$时刻$q_j$状态生成观测$v_k$的概率

  • $\pi$是初始状态概率向量:$$ \pi = (\pi_i)$$ 其中$\pi_i = P(i_t = q_i)$,表示$t=1$时状态$q_i$的概率

因此HMM由$A$、$B$和$\pi$构成(这三个矩阵/向量称为HMM三要素),同时$\pi$和$A$决定$B$,而$B$决定观测概率,即$$ \lambda = (A,B,\pi) $$

从定义可知,HMM模型有两个基本假设:

  1. 齐次马尔科夫性假设:隐藏的马尔科夫链在任意时刻的状态只依赖于他上一时刻的状态,与其他时刻的状态以及观测无关,也与时刻$t$无关$$P(i_t | i_{t-1},o_{t-1},…,i_1,o_1) = P(i_t|i_{t-1})$$
  2. 观测独立性假设:任意时刻的观测只依赖于他当前时刻的状态,与其他时刻状态无关 $$P(o_t | i_T,o_T,…,i_{t-1},o_{t-1},…,i_1,o_1) = P(o_t|i_t)$$

HMM的三个基本问题:

  1. 概率计算问题:给定模型$ \lambda = (A,B,\pi) $和观测序列$O = (o_1,o_2,…,o_T)$,计算在给定模型$\lambda$下输出观测序列$O$的概率
  2. 学习问题:已经观测序列$O = (o_1,o_2,…,o_T)$,用来估计模型$ \lambda = (A,B,\pi) $的参数,使得该模型下观测序列的概率$P(O|\lambda)$最大
  3. 预测问题:给定模型$ \lambda = (A,B,\pi) $和观测序列$O = (o_1,o_2,…,o_T)$,求对给定观测序列条件概率$P(I|O)$最大的状态序列$I = (i_1,i_2,…,i_T)$,即给定观测序列,求最有可能的状态序列

CRF

文章目录
  1. 1. HMM
  2. 2. CRF