Estimation from the field of statistics

 

그리 어려운 개념은 아니다. (여긴 Point 이다.)

 

통계는 기본적으로 모든 데이터를 활용할수 없으니 '샘플링'해서 전체를 예측 혹은 표현하는 학문이라고 생각한다.(개인적인 의견)

 

그렇다면 우리는 일부의 평균 이나 대푯값들을 활용하여 전체의 대푯값들을 알 순 없을까? 라는 것이다. 고등학교 때 배웠던 신뢰도 혹은 표본평균의 평균이 모평균과 비슷함을 떠올려보자

 

Function Estimation은 겁먹지 말고 point에서 확장된것이라고 생각하면 된다. 저기있는 theta는 그냥 W같은 가중치이다. 

 

그다음 알아야하는게 Bias와 Variance의 차이이다. 이는 한국어로하면 편향과 편차의 차이인데 아래 그림을 보면 잘 이해되리라 생각된다.

 

 

여기서 중요한것은 머신러닝에서 Bias와 Variance는 Trade-off관계이기에 우린 이사이에서 적절한 Bias와 Variance를 찾아야 한다는 것이다. 

 

두가지가 왜 Trade-off관계인지는 아래의 수식을 참고하자