Weight decay1 [비전공자용] 오버피팅 Overfitting 억제법 - 1.가중치 감소 2.드롭아웃 Dropout # 오버피팅 Overfitting 현상 오버피팅은 주로 다음 2 경우에 발생합니다. 매개변수가 많고 표현력이 높은 모델 훈련 데이터가 적음 오버피팅이 어떻게 발생하는 지 알아보기 위해 MNIST 데이터셋을 이용해서 학습을 시켜보겠습니다. 원래 60,000개인 MNIST 데이터셋의 훈련 데이터 중 300개만 사용하고, 7층 네트워크를 사용해서 네트워크의 복잡성을 높여서 오버피팅이 일어나게끔 환경을 조성합니다. 각 층의 뉴런은 100개이고 활성화 함수로 ReLU를 사용합니다. 파이썬 코드는 아래와 같습니다. # coding: utf-8 import os import sys sys.path.append(os.pardir) # 부모 디렉터리의 파일을 가져올 수 있도록 설정 import numpy as np im.. 2020. 7. 10. 이전 1 다음 반응형
