초기화2 [Modern C++ 공부 - Day7] 선언과 초기화 Declaration & Initialization Modern C++ 공부 Day 7입니다. 오늘 공부할 내용은 C++ 변수 선언과 초기화입니다. 이전 포스트를 읽고 오시면 본 포스트를 공부하는 데 도움이 됩니다. 2023.06.15 - [Programming/C++] - [Modern C++ 공부 - Day6] C++ Semantics 시맨틱스 [Modern C++ 공부 - Day6] C++ Semantics 시맨틱스 Modern C++ 공부 Day 6입니다. 오늘 공부할 내용은 C++ 시맨틱스입니다. 이전 포스트를 읽고 오시면 본 포스트를 공부하는 데 도움이 됩니다. 2023.06.15 - [Programming/C++] - [Modern C++ 공부 - Day5] 상수 참조에 huangdi.tistory.com C++ 범용 초기화 Universal.. 2023. 6. 16. [비전공자용] [Python] Xavier Initialization (Xavier 초기화) & He Initialization (He 초기화) 신경망 학습에서 가중치 초깃값을 어떻게 정하느냐에 따라 신경망 학습이 성공할 수도 있고 실패할 수도 있습니다. 은닉층 Hidden Layer의 활성화값(활성화 함수의 출력 데이터, 계층 사이를 흐르는 데이터)의 분포를 잘 관찰하면 가중치를 어떻게 설정해야 좋을지 알 수 있습니다. 은닉층이 5개이고, 각 층의 뉴런이 100개씩 존재한다고 합시다. 입력 데이터로서 1,000개의 데이터를 표준정규분포로 랜덤하게 생성하여 5층 신경망에 흘리고 각 층의 활성화값을 비교해 볼 것 입니다. 활성화 함수로는 시그모이드 Sigmoid 함수를 사용하고, 각 층의 활성화 결과를 activations 변수에 저장합니다. 가중치 초깃값을 표준정규분포로 설정하고 표준편차를 변화시키면서 활성화 결과를 히스토그램으로 보겠습니다. 파.. 2020. 7. 10. 이전 1 다음 반응형
