[확률과 통계] 베이지안 확률 (빈도주의 vs 베이즈주의)

베이지안 확률

이전 글에서 베이즈 정리에 대해서 정리해 보았다.

https://bigsong.tistory.com/40?category=986892

[확률과 통계] 베이즈 정리

베이즈 정리 베이즈 정리는 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리로 사전 확률로부터 사후 확률을 구할 수 있는 방법을 제시한다. P(A) - 사전 확률: 결과가 나타나

bigsong.tistory.com

베이즈 정리는 베이지안 확률을 계산하기 위해 두 확률 변수의 사전 확률과 사후 확률 간의 관계를 정리한 것이다. 쉽게 말해 확률 변수 A와 B 그리고 사전 확률을 알고 있을 때, 우도 확률을 계산해내기 위해 서로의 관계를 수식화 한 것이다. 이런 베이지안 확률은 18세기 토마스 베이즈에 의해 고안된 것으로 기존의 빈도주의 확률과 수학적 확률과는 완전히 반대로 확률을 믿음의 정도나 지식 등과 같은 주관에 바탕을 두고 있다. 그럼 전통적인 빈도주의와 베이즈 주의의 차이, 그리고 각각의 장단점에 대해서도 정리해 보겠다.

빈도주의(Frequatist)

빈도주의는 철저히 데이터에 기반을 둔 확률이라 할 수 있다. 빈도주의에서는 직접 수행한 실험에 의한 결과를 토대로 통계를 낸다. 예를들어 주사위를 던졌을때 6이 나올 확률을 묻는다면, 일반적으로는 6분의 1이라고 대답할 것이다.(대칭성에 의한 수학적 확률)

그러나 빈도주의에서는 직접 주사위를 무수히 던진 뒤, 그 결과를 토대로 확률을 계산해 낸다. 그렇기 때문에 빈도주의에서 주사위를 던졌을 때 6이 나올 확률은 6분의 1이 아니라 2분의 1일 수도 100분의 1이 될 수도 있다.

~~(실험에 사용된 주사위의 외적 형태 때문에 유독 6이 많이 나온다던가,~~ ~~반대로 유독 6이 안나온다던가 등등의 이유가 있겠다.)~~

그러므로 만약 실험 횟수를 무수히 많이 수행할 수만 있다면 세상에서 가장 정확한 확률을 계산해 낼 수 있는 이론이다. 그러나 실제 실험에 적용되는 외부 요인이 너무나도 많고, (주사위가 정육면체가 아닐수도, 실험하다 깨질수도) 과거에는 실험이 무수히 많이 진행되어 결과를 얻었어도 그렇게 많은 결과를 계산하고 처리할 방법이 없었다. 그러니 이상적으로만 가장 완벽한 확률계산법이라 할 수 있다.

베이즈주의(Bayesianism)

빈도주의에 반대되는 개념으로는 베이즈주의를 꼽을 수 있겠다. 베이즈 주의에서는 사건에 대한 데이터가 중심이 아닌 가설이나 확률에 대한 믿음의 정도를 양으로 해석한 것이다. 쉽게 예를 들자면 동전 던지기를 했을때 앞면이 나올 확률이 2분의 1이라고 생각하는 것이 베이즈 주의이다. (실제 빈도주의에서는 동전을 무수히 많이 던진 뒤 결과를 통해 확률을 계산하므로 2분의 1의 확률이 아닐 것이다.)

베이즈 주의의 등장 배경은 토마스 베이즈가 역확률을 계산하기 위해 등장했다. 어떤 사건의 원인에 대한 확률에 대해 관심을 갖고, 결과로부터 원인을 밝혀낼 수 있다는 것을 증명하고자 등장하였다. 이 말인 즉슨, 일어나지 않은 일에 대해서 역확률을 계산하여 발생할 가능성을 예측할 수 있다는 관점으로 해석 하면 되겠다.

쉽게 이야기 하자면 빈도주의에서는 지진, 쓰나미와 같은 발생 횟수가 적은 사건에 대해서는 확률을 계산하기 어려우므로 이미 발생했던 적은 데이터의 결과에서 시작하여, 미래에 발생할 확률을 계산해 내는 방법인 것이다.

이런 베이즈 주의에서 확률은 대게 고전적인 통계학보다 결과에 대한 해석이 훨씬 쉽고, 직관과도 잘 부합한다.

발생 가능성에 대해 알고 있을때, 이를 직접적으로 이용하여 계산하기 때문이다.

빈도주의와 베이즈주의 비교

	빈도주의	베이즈주의
특징	실제 사건 기반	확률에 대한 믿음 기반
장점	정규분포를 띄는 사건에서 용이	비교적 적은 데이터로도 확률 계산이 가능
단점	사전 확률을 모르는 경우, 확률의 신뢰도가 떨어짐	확률값이 필요(인간의 직감 같은)