딥러닝1 6장 6.1 매개변수 갱신 6.2 가중치의 초기값 6.3 배치정규화 6.4 바른학습을 위해 6.5 정리 6.1 매개변수 갱신 신경망의 학습 목적은 손실 함수의 값을 가능한 한 낮추는 매개변수를 찾는 것 = 매개변수의 최적값을 찾는 문제 = 최적화 매개변수 공간은 매우 넓고 복잡해 최적화는 어려운 문제이다. 우리는 지금까지 최적의 매개변수 값을 찾는 단서로 매개변수의 기울기(미분)를 이용했다. 매개변수의 기울기를 구해 기울어진 방향으로 매개변수 값을 갱신하는 일을 진행해 최적의 값으로 다가간다. 이것이 확률적 경사 하강법(SGD)이다. SGD외의 다른 최적화 기법을 소개한다. 1) 확률적 경사 하강법 (SGD) W : 갱신할 가중치 매개변수 aL/aW은 W에 대한 손실함수의 기울기 η : 학습률 class SG.. 2023. 6. 22. 이전 1 다음
