Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
2 minute read

Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (2017)

Motivation

몇개의 데이터 샘플만으로도 빠르고 유연하게 학습할 수 있으면서도 다양한 모델에 일반적으로 적용할 수 있는 알고리즘이 필요하다.

Differences

MAML 은 Meta-learning 의 한 방법이다. 메타러닝의 요점은 여러 과제에 학습된 모델이 아주 적은 데이터만을 사용해서 새로운 과제도 잘 수행할 수 있도록 모델을 학습시키는 것이다. 메타러닝 알고리즘은 크게 다음의 둘로 분류된다.

1. meta-learner 을 도입하여 학습 : 메타러너는 기존 모델의 파라미터가 어떻게 업데이트되어야하는지를 학습한다.
2. 좋은 weight initialization 지점 사용

기존 방법론으로는 meta-learner 을 도입하는 방법이 더 널리 사용되어왔고, MAML 은 후자에 속한다. 이 외에도 대부분의 기존 방법론은 다양한 모델이나 문제 상황에 적용되기 어려웠다. 반면 MAML 은 supervised learning problem 인 classification 이나 regression 외에도 reinforcement learning 등 거의 모든 gradient based learning 을 사용하는 모델에 적용할 수 있다는 장점이 있다. (model-agnostic!)

Method

MAML 을 지도 학습에 적용하는 알고리즘은 다음과 같다.

maml

Results

Recent Posts

Why are Sequence-to-Sequence Models So Dull?
Variational Autoregressive Decoder for Neural Response Generation
Content Preserving Text Generation with Attribute Controls
Matching Networks for One Shot Learning
Pointer Networks