GPU 분산1 [비전공자용] 시간을 획기적으로 단축하는 "딥러닝 분산 학습"이란? 딥러닝 연산은 합성곱 계층에서 대부분의 시간을 차지합니다. AlexNet의 forward 처리 시에 합성곱 계층에서만 거의 90% 정도 시간을 소요합니다. (GPU는 전체시간의 95%, CPU는 89%) 병렬 수치 연산을 고속으로 처리할 수 있는 GPU를 딥러닝에 사용하면서 속도가 많이 빨라졌지만 아직도 딥러닝 연산에는 시간이 많이 들고 시간을 줄이기 위해 많은 노력을 하고 있습니다. 그래서 나온 아이디어가 바로 "분산 학습"입니다. 다수의 GPU와 기기를 이용해서 계산을 분산하여 딥러닝 학습을 수평 확장 Scale out 하자는 아이디어입니다. 최근 분산 학습 연구에 박차를 가하고 있는 모두가 아는 두 기업이 있습니다. 바로 Google과 Microsoft 입니다. 구글의 딥러닝 프레임워크인 텐서플로와.. 2020. 7. 30. 이전 1 다음 반응형
