自然言語処理スレッド　その２

自然言語処理スレッド　その２ at TECH

921:デフォルトの名無しさん
08/06/18 23:53:19
>>915
いや、その本頑張って読んでるけど難しすぎ…。

今EMアルゴリズムのところで詰まってます。

44ページの(2.33)なのですが、
「また、ジェンセンの不等式より、次が成り立つ。
Σ[y]P[θ](y|x[i])(log(P[θ](y|x[i])/P[θ￣](y|x[i])) >= 0
」
とありますが、これは 8ページ、(1.20)・(1.21)の
「P(x)、Q(x) を確率分布とするとき、不等式
log(x) <= x - 1
より、次が成り立つ。
Σ[x]P(x)log(Q(x)/P(x)) <= Σ[x]P(x)((Q(x)/P(x)) - 1) = Σ[x]Q(x) - Σ[x]P(x) = 0
」
これの、log の中で Q(x) と P(x) が入れ替わって、符号が逆に→不等号が逆になった
パターンですよね。
Jensen の不等式は使ってないように見えるのですが…
私の勘違いなんでしょうか。

使っているのが Jensen の不等式だろうと、log(x) < x - 1 だろうとどっちでも
いいじゃないかと言われそうですが、気になって先に進めません。
おわかりの方いらっしゃったらよろしくお願いします。

次ページ

続きを表示

1を表示