[section_6] Softmax Regression (Multinomial Logistic Regression)

들어가기 전에

• 이번 수업은 사실 조금 수업 만으로 이해하는데 조금 어려움이 있어 개인적으로 추가 공부를 하고 정리하였다.

Softmax Regression(Multinomial Logistic Regression) 개념

• 편의상 Logistic Regression을 LR로 Softmax Regression SR로 표기 하겠습니다.

• SR은 예를들어 R,G,B 세개의 분류(2개 이상)로 구분하고자 할때 사용된다. -> Multinomial Logistic Regression

• LR의 경우 R인지 아닌지를 구분한다면 SR의 경우 R인지 아닌지,  G인지 아닌지, B인지 아닌지로 3번 반복하면 된다.

• SR의 경우 LR과 동일하게 Sigmoid function을 이용해 0~1 사이의 값을 구한다.(1에 가까울수록 R일 확률이 높아진다.)

• 이렇게 3번의 반복 한 확률 들의 합이 1인 지점을 찾는다.(SR의 역활)

Softmax Regression(Multinomial Logistic Regression) 행렬 및 공식

• 우선 Linear Regression(Multi Variable)과 동일하게 계산한다.

• 여기서 이제 Logistic에서 배운 Sigmoid function을 이용해 0~1사이의 값이 나오면서 각 나온 합이 1이 되었으면 좋겠다! -> SoftMax의 목표

• One-Hot Encoding을 통해 하나를 선택해 줍니다.(하나만 1로 만들고 다른 값은 0으로 바꿔준다.)
  

• 이제 이를 이용해서 Cost function에 대해 봅시다.
• linear, logistic과 구분하기위해 Cost대신 D(Distance)를 사용
  

• 이후는 linear, logistic과 동일하게 Gradient descent를 사용하면 됩니다.