note

※ 이 포스트는 머신러닝 디자인 패턴을 기반으로 작성되었습니다. 딥러닝이 점점 발전해 오면서 모델의 크기는 점점 증가하고, 학습시간 및 추론시간도 점점 증가했다. 예를 들어 ImageNet 데이터셋으로 ResNet-50을 학습시키려면 14일이 소요된다고 한다. 이것은 새로운 아이디어를 반복하거나 parameter를 조절하여 실험하기 위해서 2주를 기다려야 한다는 의미이다. 학습에 걸리는 시간 또한 비용이므로 대규모 신경망의 학습 속도를 높이기 위해 분산처리 전략이 등장했다. Data parallism 데이터를 node(GPU)의 수로 나누어 각 node에 서로 다른 데이터를 할당해 학습시키는 방식이다. 주로 convolution layer가 관련된 것과 같이 가중치당 계산량이 많을 때 유리하다. 데이터 ..