Frequentist vs Bayesian
1 minute read

Frequentist vs Bayesian

학교에서 베이지안 통계 스터디를 시작하게 되었다. 스터디는 Coursera 에 올라와있는 Bayesian Statistics: From Concept to Data Analysis 강의를 다 같이 듣고, 한주씩 돌아가며 발제를 하는 방식으로 진행된다. 앞으로 Bayesian 카테고리에 남기게 될 내용 또한 내가 매주 들은 강의에서 중요하다고 생각된 부분을 나름대로 정리하고, 살을 붙여본 것이다.


첫 주 강의는 빈도주의자 학파와 베이지안 학파를 비교하는데에서 시작되었다. 통계학에는 크게 두 학파가 있는데, 하나는 Frequentist고, 다른 하나는 Bayesian이다. 둘은 통계의 가장 기본적 개념인 확률을 정의하는 방식에서부터 차이를 보인다.

Frequentist View

빈도주의자들은 확률을 상대도수로 정의한다. 상대도수는 사건이 무한히 반복 가능할 때, 내가 관심 있는 사건의 상대적인 빈도를 뜻한다. 그렇기 때문에 Frequentist View에서는 사건이 무한히 반복 가능해야한다는 전제가 필수적이다.

주사위 던지기를 예로 들어보자. 주사위를 무한하게 던지면, $\frac{4가 나온 횟수}{전체 시행 횟수}$는 점점 $\frac{1}{6}$에 가까워진다. 이것이 곧 4가 나올 확률이 된다.

이처럼 사건이 무한히 반복될 수 있는 경우 Frequentist View에서 정의한 확률은 굉장히 유용하다. 하지만 세상에는 무한히 반복될 수 있는 사건만 존재하는 것이 아니다. 2020년까지 빙하가 녹을 확률을 알고 싶다면? 이런 경우 사건은 단 한번 밖에 일어날 수 없기 때문에 전체 시행 횟수는 1이 되고, 실제로 사건이 일어난 횟수는 0 또는 1이 된다.

2020년에 남극의 빙하가 실제로 녹음 실제로 녹지 않음
녹을 확률 $= \frac{\text{녹은 사건의 수}}{\text{시행 수}}$ $\frac{1}{1} = 1$ $\frac{0}{1} = 0$

즉,

이 되는데, 일어나면 확률이 1, 일어나지 않으면 확률이 0이라는 계산은 우리가 알고 싶었던 답이 아니다.

이처럼 사건이 무한히 반복될 수 없을 때, Frequentist View는 우리의 상식과는 다른 답을 내놓는다.

Bayesian View

반면 Bayesian View는 위에서 논했던 ‘계속해서 반복할 수 없는 사건의 확률’에 대해서도 나름의 답을 제공한다. 그게 어떻게 가능한 것일까?

Bayesian View에서는 모든 것이 불확실하다. 이에 따라 베이지안 입장에서는 확률을 ‘믿음의 정도’로 해석한다. 그렇기에 실제로는 아직까지 일어나지 않은 사건에도 확률을 부여할 수 있는 것이다. 여기서 Prior(사전정보)의 개념이 들어오는데, 사전정보는 다음과 같은 내용을 전부 포함할 수 있다.

이러한 내용을 확률로 표현한 Prior가 어떤 사건의 확률을 계산하는데에 이용이 되면서, Bayesian은 사건이 아직 발생하지 않았을 때에도 꽤 설득력 있는 값을 확률값으로 내준다. 실제로 일어날 확률이 어떻든간에 내가 2020년까지 빙하가 녹을 확률이 80%라고 생각한다면, 이 값을 반영한 확률값이 구해진다.

Recent Posts

Matrix Calculus
Inverted Indexing
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Deep Contextualized Word Representations
Pretraining-Based Natural Language Generation for Text Summarization