[section_7] ML의 실용과 몇가지 팁

Large learning rate vs Small learning rate

• Large learning rate -> overshooting

• Small laerning rate -> takes too long, stops at local minimum

• 해결 방법 -> 정답은 없다! but cost function을 관찰하고 조절하는 방법이 있다.

Data Preparing

• 데이터 하나의 값이 지나치게 크거나 하여 Cost함수가 한쪽으로 치우쳐 데이터 활용전 선처리가 필요하다.
• 해결방법 1 -> (0,0)의 센터 포지션에 위치시킨다.
• 해결방법 2 -> 특정 범위 이외의 데이터들을 사용하지 않는다.

Overfiltering

• 학습데이터를 활용하여 학습시킨 뒤 학습데이터를 활용하여 테스트를 하였을때 생길 수 있는 문제 -> 새로운 데이터를 활용하여 테스트 필요
• 해결방법 -> 많은 트레이닝 데이터를 활용, 중복된 데이터들의 제거, 일반화 함수 이용(MinMaxScaler)

Oneline learning

• A 데이터를 학습시킨 뒤 B 데이터를 추가 학습 시키자 할 때 새롭게 A, B모두를 학습시키는 것이 
  아니라 B 데이터만을 학습시키는 학습 방법을 말한다.