2. 条件随机场

给定变量$ X $时无向图$ Y $的随机场。

$$ P(Y_v|X, Y_w \neq Y_v) $$

$ Y_W $ 是所有与$ Y_v $有连接的节点(考虑局部独立性，这里使得条件随机场的$ P(Y|X) $可描述为$ Y_v $的联合概率)。

- 阅读剩余部分 -

1. 概率无向图模型

概率无向图是指随机变量节点连接边没有方向的概率图模型, 其节点$ v \in V$表示随机变量，节点之间的边$ e \in E $表示随机变量之间的依赖关系。

$$ G=(V, E) $$

- 阅读剩余部分 -

6. limited memory graio newton

牛顿方法需要计算$ hessian $矩阵和其逆，为方便计算和减少内存使用，使用L_BFGS算法优化.

最大墒模型:

$$ \begin{align} p(y|x) &= \frac{\exp \left[ \sum_{i=1} w_i f_i(x,y) \right] }{ Z_w(x) } \\ &= \frac{ \exp \left[ \sum_{i=1} w_i f_i(x,y) \right] }{ \sum_y \exp \left[ \sum_{i=1} w_i f_i(x,y) \right] } \end{align} $$

目标优化函数：

$$ \begin{align} \min_w f(w) &= -\sum_{x,y} \tilde{p}(x,y) \log p(y|x) \\ &= \sum_{x} \tilde{p}(x) \log Z_w(x) - \sum_{x,y} \tilde{p}(x,y) \sum_{i=1} w_i f_i(x,y) \end{align} $$

梯度:
$$ \nabla f(w) = \left[\frac{\partial f(w)}{\partial w_1},\frac{\partial f(w)}{\partial w_2},\frac{\partial f(w)}{\partial w_3},\cdots \right]^T $$

$$ \frac{\partial f(w)}{\partial w_i} = \sum_{x,y} \tilde{p}(x) p_w(y|x) f_i(x,y) - \sum_{x,y} \tilde{p}(x,y) f_i(x,y) $$

- 阅读剩余部分 -