Meta-Learning for Low-Resource Neural Machine Translation
1 minute read

Meta-Learning for Low-Resource Neural Machine Translation (2018)

Motivation

Low Resource Translation : NMT(Neural Machine Translation) 모델을 Low Resource Language 에 대해 학습시키면 데이터가 충분하지 않기 때문에 over-fitting 에 취약하다는 문제점을 가지고 있다.

Differences

데이터 부족으로 인한 오버피팅을 방지하기 위해 주로 사용되는 방법은 1) unlabeled monolingual data 를 활용하는 것, 2) low-resource 와 high-resource language pair 간에 정보를 공유하는 것이었다. 본 논문에는 두번째 방법에 속하는 multilingual transfer learning (Gu et al. (2018)) 과의 비교를 통해 새로운 방법을 제시하고 있다. 논문에서 제시하는 방법과 기존 방법인 multilingual transfer learning 의 공통점은 target task 에 모델을 fine-tune 할때 잡는 파라미터의 initial point 를 랜덤하게 하지 않고, source task 를 이용해 찾아낸다는 것이다. 기존 방법의 경우 다음의 목적식을 최대화하는 방향으로 모델 파라미터를 학습한다.

maml_nmt

Method

maml_nmt

Results

Recent Posts

Why are Sequence-to-Sequence Models So Dull?
Variational Autoregressive Decoder for Neural Response Generation
Content Preserving Text Generation with Attribute Controls
Matching Networks for One Shot Learning
Pointer Networks