부스트캠프 AI Tech 2기 Day - 3(2)
-
확률과 통계
최대 가능도 추정법(Maximum Likelihood Estimation, MLE)
- 최대 가능도 추정법은 주어진 표본에 대해 가능도를 가장 크게 하는 모수 θ 를 찾는 방법.
Likelihood function
-
likelihood 라는 것은 지금 얻은 데이터가 분포로부터 나왔을 가능도를 말함. 수치적으로 이 가능도를 계산히가 위해서는 각 데이터 샘플에서 후보 분포에 대한 높이(즉, likelihood 기여도)를 계산해서 모두 곱한것을 이용 할 수 있을 것임.
-
계산된 높이를 더해주지 않고 곱해주는 것은 모든 데이터들의 추출이 독립적으로 연달아 일어나는 사건이기 때문.
-
그렇게 해서 계산된 가능도를 생각해볼 수 있는 모든 후보군에 대해 계산하고 이것을 비교하면 우리는 지금 얻은 데이터를 가장 잘 설명할 수있는 확률분포를 얻어낼 수 있게 됨.
이 likelihood를 조금 더 수학적으로 서술하면
- 위 식을 likelihood function 이라고 하고 보통은 자연로그를 이용해 아래와 같이 log-likelihood function L(θㅣx) 를 이용함.
베이즈 통계학
베이즈정리
- 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리
- 베이즈 정리를 통해 새로운 데이터가 들어왔을때 앞서 계산한 사후확률을 사전확률로 사용하여 갱신된 사후확률을 계산할 수 있음.
통계적 가설 검정
- 어떤 테스크에 있는지에 따라 1종 오류가 중요할 수도, 2종 오류가 중요할 수도 있음.
참고자료
https://drhongdatanote.tistory.com/57 https://datascienceschool.net/ https://angeloyeo.github.io/2020/07/17/MLE.html