On the Dimensionality of Word Embedding
1 minute read

On the Dimensionality of Word Embedding (2018)

Motivation

단어 임베딩에서 차원이 미치는 영향에 대한 이론적인 설명이 부족하다.

Method

Results

PIP loss 를 이용하면 효과적인 임베딩 차원의 크기를 기존의 ad-hoc 이나 grid search 보다 빠르면서도 꽤 정확하게 알 수 있다.

Furthermore

Recent Posts

Why are Sequence-to-Sequence Models So Dull?
Variational Autoregressive Decoder for Neural Response Generation
Content Preserving Text Generation with Attribute Controls
Matching Networks for One Shot Learning
Pointer Networks