note

※ Coursera의 Build Basic Generative Adversarial Networks (GANs) 강의를 듣고 작성한 글입니다. Week 2에서는 GAN과 관련된 구성 요소들을 알아봅니다. Activations 딥러닝 layer는 linear한 연산들로 이루어져 있습니다. Linear한 연산은 하나의 linear연산으로 계산해 낼 수 있으므로 결국 하나의 연산과 같아지는 일이 발생합니다. 이러한 계산에 복잡도를 더하기 위해 non-linear를 더해주어야 합니다. 이러한 non-linear연산은 backpropagation에 미분이 사용되므로 미분가능해야합니다. 이러한 조건을 만족하여 layer에서 activation을 구하기 위해 사용하는 함수를 activation function이라고..