심층신경망: 선형 회귀로 풀 수 없는 문제 해결, 여러 선형 계층 사이에 비선형 함수를 끼워넣는 구조
학습: 선형 회귀와 마찬가지로 여러 계층의 파라미터들로 손실 함수를 미분하여 경사하강
역전파: 체인 룰을 통해 구현 -> 심층신경망을 학습
그래디언트 소실: 신경망이 너무 깊어지면 입력층에 가까운 가중치들이 잘 업데이트되지 않는 문제
시그모이드, 탄에이치의 미분값이 거의 무조건 1보다 작기 때문에 발생
렐루 함수를 통해 해결
그러나 렐루의 입력이 0이 되는 상황에서 렐루 뒤의 가중치의 학습이 어려운 문제 발생
리키렐루: 음수 구간에서 0이 아닌 기울기를 가짐 -> 렐루 함수 문제 해결
실습
절차:
1) import, data 불러오기
2) 추가로 데이터 분포의 특징을 고려하여 scaler 과정을 거쳐야 함
3) epoch, lr, interval 설정
4) 모듈 함수 정의 (sequential 활용하여 쉽게 모델 객체 선언할 수도 있음)
5) 가중치를 옵티마이저에 등록
6) 학습
