hsinfu's Blog

[Summarization] Representation Learning: A Review and New Perspectives

"Representation Learning: A Review and New Perspectives," Yoshua Bengio, Aaron Courville, Pascal Vincent, arXiv:1206.5538

這是一篇對 Representation Learning(其中包含許多 Deep Learning 基本的 model) 很完整的 tutorial, 大致上從 machine learning 開始講起,開始講為什麼 Representation Learning 重要,之前的 Representation 都是由工人智慧開發出某種特定的演算法來找最好的 Representation,而近幾年開始,由於 data 的迅速增長和 computing power 的大幅進步,我們可以從 data 中自動學出對於該 data set 最好的 representation (Deep Learning),而這個自動學習的方法比傳統的工人智慧開發的演算法還要好上許多,因此這個領域又紅了起來。

而這篇其實有一大部分介紹了許多 Deep Learning 的 model (包含 Restricted Boltzmann Machines (RBMs), Sparse Auto-Encoders, Denoising Auto-Encoders, Contractive Auto-Encoders 等等)