파이썬10 [비전공자용] [Python] 직접 딥러닝으로 손글씨 숫자 인식하기 (정확도 99% 이상) 이번 포스트에서는 드디어 심층 신경망이라고 불리는 딥러닝으로 손글씨 숫자를 인식하는 예제를 구현해보려고 합니다. 이전 포스트에서 아주 간단한 CNN 합성곱 신경망을 구현했었는데요. 이번에는 더 깊게 신경망을 구성해보려고 합니다. 사전 지식이 필요하니 이전 포스트를 먼저 읽고 와주세요. 2020/07/28 - [Computer Science/Deep Learning] - [비전공자용] [Python] CNN 합성곱 신경망 구현하기 딥러닝으로 손글씨 숫자 인식하기 먼저 계층을 구성할 겁니다. 신경망의 몇 가지 특징을 먼저 정하고 갑시다. 3 X 3의 작은 필터를 사용한 합성곱 계층 활성화 함수: ReLU 완전연결 계층 뒤에 드롭아웃 계층 사용 Adam을 사용해 최적화 가중치 초깃값: 'He 초깃값' 위와 같.. 2020. 7. 30. [비전공자용] [Python] CNN 합성곱 신경망 구현하기 자자 이제 지금까지 공부했던 합성곱 계층과 풀링 계층을 이용해서 손글씨 숫자를 인식하는 CNN 합성곱 신경망을 본격적으로 구현해보도록 하겠습니다!!!!!! 합성곱 계층과 풀링 계층에 대해 개념적으로 공부하고 싶으신 분들은 아래 포스트를 참고하세요. 2020/07/10 - [Computer Science/Deep Learning] - [비전공자용]합성곱 신경망 (CNN) - 합성곱 계층 & 풀링 계층 아래 구조의 계층으로 구성되어 있는 CNN을 SimpleConvNet이라는 클래스로 구성해봅시다. 입력데이터 -----> Convolution -> ReLU -> Pooling -----> Affine -> ReLU -----> Affine -> Softmax ------> 결과 SimpleConvNet 신경.. 2020. 7. 28. [비전공자용] [Python] CNN(합성곱 신경망) - 풀링 계층 구현 이번 포스트에서는 지난 포스트(CNN-합성곱 계층 구현)에 이어서 2020/07/28 - [Computer Science/Deep Learning] - [비전공자용] [Python] CNN(합성곱 신경망) - 합성곱 계층 구현 CNN에서의 풀링 계층을 Python으로 구현해보려 합니다. 여기서는 코드를 구성하는 것만 다루기 때문에 개념적으로 공부하고 싶으신 분들은 아래 포스트를 참고해주세요. 2020/07/10 - [Computer Science/Deep Learning] - [비전공자용]합성곱 신경망 (CNN) - 합성곱 계층 & 풀링 계층 2. 풀링 계층 구현 합성곱 계층과 마찬가지로 풀링 계층에서도 im2col 함수를 사용해서 입력 데이터를 전개합니다. 하나 차이점이 있다면, 풀링 계층에서는 채널 .. 2020. 7. 28. [비전공자용] [Python] 하이퍼파라미터 최적화 Hyperparameter Optimization 신경망에는 다수의 하이퍼파라미터가 등장합니다. 각 층의 뉴런 수, 배치 크기, 매개변수 갱신 시의 학습률, 가중치 감소 등이 하이퍼파라미터입니다. 하이퍼파라미터의 값을 어떻게 결정하느냐에 따라 학습 모델의 성능이 크게 영향을 받습니다. 그럼 하이퍼파라미터의 값을 최대한 효율적으로 탐색하는 방법을 알아보겠습니다. # 검증 데이터 하이퍼파라미터를 다양한 값으로 설정하고 검증하기 전에 검증하는 과정, 성능을 평가하는 과정에 대해 먼저 소개하겠습니다. 하이퍼파라미터의 성능을 평가할 때는 시험 test 데이터를 사용하면 안됩니다. 시험 데이터를 사용하면 하이퍼파라미터가 시험 데이터에 오버피팅됩니다. 시험 데이터에만 적합하게 조정되어 다른 데이터에는 적용하지 못하는 범용 성능이 떨어지는 모델이 될 수 있기 때문입니.. 2020. 7. 10. [비전공자용] [Python] 배치 정규화 Batch Normalization 배치 정규화 2015년에 제안된 방법이지만, 많은 연구자와 기술자들이 사용하고 그 효과가 입증된 방법입니다. 배치 정규화를 이용하는 이유들은 다음과 같습니다. 학습을 빨리 진행할 수 있다. (학습 속도 개선) 초깃값에 크게 의존하지 않는다. (골치 아픈 초깃값 선택 장애를 겪지 않아도 됨) 오버피팅을 억제한다. (드롭아웃 등의 필요성 감소) # 배치 정규화란? 그럼 배치 정규화의 기본 아이디어를 알아봅시다. 배치 정규화는 각 층에서의 활성화값이 적당히 분포되도록 조정하는 것을 목표로 합니다. 그래서 데이터 분포를 정규화하는 '배치 정규화 Batch Norm 계층'을 신경망에 삽입해서 이용합니다. 학습 시 미니배치를 단위로 정규화하는 방식을 사용합니다. 데이터 분포가 평균이 0, 분산이 1이 되도록 정규화.. 2020. 7. 10. [비전공자용] [Python] 모멘텀, AdaGrad, Adam 최적화기법 이번 포스트에서는 모멘텀, AdaGrd, Adam 최적화 기법에 대해 상세히 알아볼 겁니다. 1. 모멘텀 Momentum 모멘텀은 운동량을 뜻하는 단어로, 신경망에서의 모멘텀 기법은 아래 수식과 같이 표현할 수 있습니다. SGD에서와 마찬가지로 W 는 갱신할 가중치 매개변수, L은 손실함수를 나타내고 η 는 학습률 learning rate, ∂L/∂W은 W 에 대한 손실함수의 기울기를 나타냅니다. SGD와 달리 변수 v가 등장하는데 물리에서 운동량을 나타내는 식은 p = mv, 질량 m, 속도 v이므로 위 수식에서도 v는 속도를 의미합니다. 매개변수 α를 v에 곱해서 αv 항은 물체가 아무 힘도 받지 않을 때도 서서히 하강시키는 역할을 하게 됩니다. 물리에서의 마찰력이라고 생각하면 편할 것 같습니다. 하.. 2020. 7. 9. 이전 1 2 다음 반응형
