2. 베이지안 추정(Bayesian Inference)
구하고자 하는 모수의 확률 분포를 추정하는 방법에는 크게 최대우도추정법(Maximum Likelihood Estimation)과 베이지안 추정법(Bayesian Estimation)이 있다. 베이지안 추정법은 관심있는 모수에 대해 확률분포를 설정하고, 조사를 통해 얻은 관측치의 정보를 추정에 반영하는 것이다. 추정의 절차는 다음과 같다.
추정 시 사용되는 베이즈 이론의 공식은 다음과 같다.
사전분포, 자료에 대한 함수를 이용해 사후분포를 구할 수 있다.
분모의 f(x)를 구할 때 모수가 연속 변수면 적분, 이산 변수면 시그마를 사용해 계산한다.
사전정보, 관측값을 이용해 사후분포를 구하는 예제를 풀어보자.
베이즈 정리를 이용하고 식 변형을 통해 사후분포를 구하면 다음과 같다.
사전분포가 균일분포(Uniform Distribution), 추가된 정보가 이항분포(Binomial Distribution)을 따를 때 사후분포가 베타분포(Beta Distribution)을 따름을 알 수 있다.
<문제풀이 참고>
베타 분포의 pdf는 다음과 같다.
gamma(a)=(a-1)!, gamma(b)=(b-1)!, gamma(a,b)=(a-1+b-1)!
사전정보, 관측값을 이용해 사후분포를 구하는 비슷한 예제를 풀어보자.
사전분포가 베타분포(Beta Distribution), 추가된 정보가 베르누이 분포(Bernoulli Distribution)을 따를 때 사후분포가 베타분포(Beta Distribution)을 따름을 알 수 있다.
주의! 사후분포를 구할 때는 상수는 무시하고, 최대한 세타에 집중해 식 정리 시 사후분포가 따를 수 있는 분포를 찾아야 한다.
