Lazy learning vs Eager learning
1 minute read

Lazy learning

Eager learning

Lazy learning vs Eager learning

  1. Computation time
    • Lazy learning 은 training time 에는 computation 이 적게 들지만 test instance 를 예측할때의 비용이 크다.
    • 모든 계산이 test time 에 이루어지기 때문에 query time 에 빠르게 결과를 내야하는 경우에 불리.
  2. Inductive bias
    • Lazy methods may consider the query instance $x_q$ when deciding how to generalize beyond the training data $D$.
    • Eager methods cannot. By the time they observe the query instance $x_q$ they have already chosen their (global) approximation to the target function.
    • e.g. locally weighted linear regression
      • Eager learner 는 하나의 linear function hypothesis 로 전체 instance space 와 future query 까지 예측할 수 있는 모델을 만들려고 한다. 반면 lazy learner 는 여러개의 local linear function 을 이용해 예측을 하기 때문에 hypothesis space 가 더 rich 하다.

이외에도 lazy learning 은 test instance 와 유사한 data 를 training set 으로부터 찾는데에 적절한 distance metric 을 정의해야한다는 단점이 있다.

또 Radial basis function network 처럼 local approximation 을 활용하려는 eager method 도 있지만, test instance 를 approximation 에 이용하는건 아니기 때문에 lazy method 는 아니다.

vs Parametric / Non-parametric?

대표적인 lazy method 인 k-nearest neighbor 가 non-parametric model 이기는 하지만 parametric / non-parametric model 의 분류는 eager / lazy learning 과 orthogonal 하다.

References

Recent Posts

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Perplexity of Language Models
Matrix Calculus
Inverted Indexing
Deep Contextualized Word Representations