Batch Normalization1 [비전공자용] [Python] 배치 정규화 Batch Normalization 배치 정규화 2015년에 제안된 방법이지만, 많은 연구자와 기술자들이 사용하고 그 효과가 입증된 방법입니다. 배치 정규화를 이용하는 이유들은 다음과 같습니다. 학습을 빨리 진행할 수 있다. (학습 속도 개선) 초깃값에 크게 의존하지 않는다. (골치 아픈 초깃값 선택 장애를 겪지 않아도 됨) 오버피팅을 억제한다. (드롭아웃 등의 필요성 감소) # 배치 정규화란? 그럼 배치 정규화의 기본 아이디어를 알아봅시다. 배치 정규화는 각 층에서의 활성화값이 적당히 분포되도록 조정하는 것을 목표로 합니다. 그래서 데이터 분포를 정규화하는 '배치 정규화 Batch Norm 계층'을 신경망에 삽입해서 이용합니다. 학습 시 미니배치를 단위로 정규화하는 방식을 사용합니다. 데이터 분포가 평균이 0, 분산이 1이 되도록 정규화.. 2020. 7. 10. 이전 1 다음 반응형
