Liocean

Paper Information

B. Zoph and Q. V. Le. Neural architecture search with reinforcement learning. In Proceedings of the International Conference on Learning Representations (ICLR), 2017

Introduction

深度學習的網路架構往往需要靠人為當作是參數來調整,這不僅耗時也耗力.而這篇論文提出如何"學"出

網路架構.

Paper Information

B. Zoph and Q. V. Le. Neural architecture search with reinforcement learning. In Proceedings of the International Conference on Learning Representations (ICLR), 2017

Introduction

深度學習的網路架構往往需要靠人為當作是參數來調整,這不僅耗時也耗力.而這篇論文提出如何"學"出

網路架構.

Paper Information

J. Deng, J. Guo, and S. Zafeiriou, “ArcFace: Additive Angular Margin Loss for Deep Face Recognition”, arXiv.

Introduction

人臉辨識若用在deep learning 除了要有好的model外, 如何計算loss也很

重要,因為它能夠引導model走向正確的路.

Paper Information

J. Deng, J. Guo, and S. Zafeiriou, “ArcFace: Additive Angular Margin Loss for Deep Face Recognition”, arXiv.

Introduction

人臉辨識若用在deep learning 除了要有好的model外, 如何計算loss也很

重要,因為它能夠引導model走向正確的路.

Paper Information

Completely Unsupervised Phoneme Recognition by Adversarially Learning Mapping Relationships from Audio Embeddings

Authors: Da-Rong Liu, Kuan-Yu Chen, Hung-Yi Lee, Lin-shan Lee

Introduction

傳統上使用deep learning來做語音轉文字需要大量的label來做supervise learning, 但實際上是有更多的資料

Paper Information

Completely Unsupervised Phoneme Recognition by Adversarially Learning Mapping Relationships from Audio Embeddings

Authors: Da-Rong Liu, Kuan-Yu Chen, Hung-Yi Lee, Lin-shan Lee

Introduction

傳統上使用deep learning來做語音轉文字需要大量的label來做supervise learning, 但實際上是有更多的資料

Paper Information

Laurens van der Maaten, Geoffrey Hinton. Visualizing Data using t-SNE; The Journal of Machine Learning Research, 2008.

Introduction

在機器學習的領域中，我們常希望能從資料中抓取近可能少但重要的feature,因為不必要的feature會造成overfitting. PCA可以幫我們找到應該被保留的特徵，以此做到降維的目的。雖然PCA效果還不錯，但PCA是線性降維,另一個常用的降維方法是SNE，SNE的視覺化效果比PCA來得好，但有低維空間有crowding問題.

Contribution

Paper Information

Laurens van der Maaten, Geoffrey Hinton. Visualizing Data using t-SNE; The Journal of Machine Learning Research, 2008.

Introduction

在機器學習的領域中，我們常希望能從資料中抓取近可能少但重要的feature,因為不必要的feature會造成overfitting. PCA可以幫我們找到應該被保留的特徵，以此做到降維的目的。雖然PCA效果還不錯，但PCA是線性降維,另一個常用的降維方法是SNE，SNE的視覺化效果比PCA來得好，但有低維空間有crowding問題.

Contribution

Paper Information

Li Wan et. al. “A Hybrid Neural Network-Latent Topic Model”, JMLR 2012

Introduction

Probabilistic graphical model 和 neural network model 都是機器學習裡很熱門的方法,本篇嘗試將hierarchical topic

model 結合 neural network. 借以整合各方長處: neral network提供低維的特徵表示給topic model以捕捉high-leval scene

Paper Information

Li Wan et. al. “A Hybrid Neural Network-Latent Topic Model”, JMLR 2012

Introduction

Probabilistic graphical model 和 neural network model 都是機器學習裡很熱門的方法,本篇嘗試將hierarchical topic

model 結合 neural network. 借以整合各方長處: neral network提供低維的特徵表示給topic model以捕捉high-leval scene

Paper Information

Mairal, Julien, et al. “Online dictionary learning for sparse coding." Proceedings of the 26th annual international conference on machine learning. ACM, 2009.

Introduction

Sparse coding指的是將高維空間的data想成是一些基本元素(basis)的相加,有點類似抽feature的概念. 論文中要求的D很類似於auto-encoder的decoder的部分,與D不同在於: auto-encoder

不會要求中間的編碼是sparse的. 至於要求sparse的原因是更少的非零基本元素有更佳的解釋效果,也代表model有更好的抽取feature的能力.

Paper Information

Mairal, Julien, et al. “Online dictionary learning for sparse coding." Proceedings of the 26th annual international conference on machine learning. ACM, 2009.

Introduction

Sparse coding指的是將高維空間的data想成是一些基本元素(basis)的相加,有點類似抽feature的概念. 論文中要求的D很類似於auto-encoder的decoder的部分,與D不同在於: auto-encoder

不會要求中間的編碼是sparse的. 至於要求sparse的原因是更少的非零基本元素有更佳的解釋效果,也代表model有更好的抽取feature的能力.