Liocean

Paper Information

Laurens van der Maaten, Geoffrey Hinton. Visualizing Data using t-SNE; The Journal of Machine Learning Research, 2008.

Introduction

在機器學習的領域中，我們常希望能從資料中抓取近可能少但重要的feature,因為不必要的feature會造成overfitting. PCA可以幫我們找到應該被保留的特徵，以此做到降維的目的。雖然PCA效果還不錯，但PCA是線性降維,另一個常用的降維方法是SNE，SNE的視覺化效果比PCA來得好，但有低維空間有crowding問題.

Contribution

作者針對SNE的做改進，以達到更好的降維效果:

1. 使用對稱版的SNE，以此簡化梯度公式，改進不好優化的缺點
2. 在低維空間下以"t分佈"取代"高斯分佈"

Summarization

作者提出的方法可以分為四個步驟

1. 將高維的數據用高斯分佈的機率密度函數近似

高斯分佈的機率密度函數( x為隨機變量，𝝈 為變異數，𝜇 為平均 )：

故高維數據可表示為：

2.  將高維的數據用t分佈的機率密度函數近似

低維數據可表示為：

用t分佈是因為即使在樣本數少時仍可以很好地模擬分佈情形，不被noise所影響

3.  利用對稱版的KL散度算cost

在原本SNE中採用的KL散度是不對稱的，這樣會造成optimization的困難

所以作者採用對稱版的KL散度，如此將會更好優化：

4.  用梯度下降法求最佳值

梯度可表示為：

Result