条件随机场(Conditional Random Field, CRF)

0 引言

条件随机场(Conditional Random Field,CRF)是给定一组输入随机变量条件下另一组输出变量的条件概率分布模型,其特点是输出随机变量构成了马尔可夫随机场。

1 概率无向图模型

引言:概率无向图模型,又称为马尔可夫随机场,是一个可以由无向图
表示的联合概率分布。

1.1 定义

设有联合概率分布 $P(Y)$ , 由无向图 $G=(V,E)$ 表示,在图G中,结点表示随机变量,边表示随机变量之间的依赖关系。 如果联合概率分布 $P(Y)$ 满足成对、局部或全局马尔可夫性,就称此联合概率分布为概率无向图模型,或马尔可夫随机场(Markov Random Field)。

  • 成对马尔可夫性:
  • 局部马尔可夫性:
  • 全局马尔可夫性:

1.2 概率无线图模型的因子分解

1.2.1 团与最大团

1.2.2 因子分解

2 条件随机场的定义与形式

2.1 条件随机场的定义

2.1.1 整体架构

  • 条件随机场是给定随机变量 $X$ 条件下,随机变量 $Y$ 的马尔可夫随机场。
  • 线性链条件随机场可用于标注问题。这时,在条件概率模型 $P(Y|X)$ 中,$Y$ 是输出变量,表示标记序列,$X$ 是输入变量,表示需要标注的观测序列,也把标记序列称为状态序列。
  • 学习时,利用训练数据集通过极大似然估计或正则化的极大似然估计得到条件概率模型 $P\hat (Y|X)$ 。
  • 预测时,对于给定的输入序列 $x$,求出条件概率 $P\hat(y|x)$ 最大的输出序列 $\hat{y} $

2.1.2 条件随机场的定义

2.1.3 线性链条件随机场的定义

2.2 条件随机场的参数化形式

2.3 条件随机场的简化形式

2.4 条件随机场的矩阵形式

Donate comment here