Module 4. Bayesian (고려대학교 김재환)

날짜: 2023년 7월 4일

Part1. Principle and Structure

1. Bayesian 원리 및 작동방식

 

 

 

 

Part 2. Estimation Algorithm

1. Joint Probablity Distribution(결합 확률 분포)

• 결합 분포란 확률 변수가 두 개 이상일 때 여러 사건이 동시에 일어날 확률을 말함.

2. Bayesian 추정 알고리즘

3. Random Walk Metropolis-Hastings Algorithm

1. Posterior Distribution

• 적분하지 않고 할 수 있는 방법: Prior * Likelihood

2. Gibbs Sampling

• 위의 방식으로 안될 경우 사용
• parameter의 conditional 분포를 알 경우, Gibbs sampling 사용

3. Metropolis Hastings

• conditional distribution을 알 수 없을 때 사용함

1. Convergence 확인

2. Multiple starting points

3. Burn-in

• 수렴한 Draw만 사용

4. Autocorrelation-Acceptance rate, ACF

• Autocorrelation Time Series 개념과 비슷함
• 매번 iteration 때마다 얻는 draw는 바로 전 단계의 Draw가 무슨 값이었느냐에 따라서 상대적으로 영향을 받게 되어있음 ⇒ Autocorrelation이라고 함
• Autocorrelation이 높다는 것은 rate가 높은 것을 의미함. ACF도 높다는 것을 의미

Part 3. Solving Real Problem

- 생략