hsinfu's Blog

[Summarization] Probabilistic latent semantic indexing

Probabilistic latent semantic indexing (T. Hofmann, SIGIR, 1999)

這篇 paper 提出以機率的方法( EM-algorithm 配合 貝氏定理)去計算出 P(d,w) 的機率,有別於之前的 Latent Semantic Indexing(LSI)是用 Singular Value Decomposition (SVD) 的方法。

maximization of the log-likelihood function

而 P(d,w) 可以藉由貝氏定理分解成

然後由 EM-algorithm
E-step:


M-step: