note

※ Coursera의 Build Basic Generative Adversarial Networks (GANs) 강의를 듣고 작성한 글입니다. Week4에서는 conditional GAN과 controllable GAN에 대해 학습합니다. Conditional & Unconditional GAN class가 있어서 class에 해당하는 이미지를 생성하는 것이 conditional GAN입니다. Unconditional이라면 어떤 class의 이미지가 생성될지 모르는 것이죠. Conditinoal gan은 one-hot vector를 사용하여 class에 대한 정보를 넣어줍니다. generator에는 1차원의 noise vector가 들어가므로 one-hot vector를 noise vector 뒤에 co..

※ Coursera의 Build Basic Generative Adversarial Networks (GANs) 강의를 듣고 작성한 글입니다. Week3에서는 GAN의 문제점과 새로운 loss에 대해 알아봅니다. Mode Collapse 분포에서 가장 높은 부분을 mode라고 합니다. 분포 내에서 여러개의 mode를 가질 수 있고, 일반적인 데이터셋은 대부분 여러개의 mode를 가집니다. MNIST로 GAN을 학습한다고 가정하겠습니다. 0~9의 각 숫자마다 mode가 존재하게 됩니다. 이때 generator에서 여러 숫자를 생성해 냈다고 해봅시다. 그리고 discriminator에서 판단한 결과 1과 7을 제외한 모든 숫자들이 fake로 판단되었습니다. 그러면 generator는 다른 숫자를 잘 생성하려..

ReST는 multi-camera multi-object tracking task를 위한 모델이다. 데이터셋은 WILDTRACK을 사용했다. WILDTRACK은 고정된 7개의 카메라가 서로 중첩된느 영역을 보고있고, 같은 사람에는 같은 index가 라벨링 되어있는 데이터 셋이다. Multi object tracking(MOT)에서 일반적으로 일어나는 문제가 occlusion 등의 이유로 인한 ID switch가 일어난다는 것이다. 이러한 것을 보완하고자 Multi-camera multi object tracking(MCMOT)이 등장하였다. 특정 카메라에서 인식되지 않는 객체를 다른 카메라에서 정보를 얻어 singlet tracker를 사용하지 않고 시간 상에서 같은 object를 찾는 것이 특징이다. ..

※ Coursera의 Build Basic Generative Adversarial Networks (GANs) 강의를 듣고 작성한 글입니다. Week 2에서는 GAN과 관련된 구성 요소들을 알아봅니다. Activations 딥러닝 layer는 linear한 연산들로 이루어져 있습니다. Linear한 연산은 하나의 linear연산으로 계산해 낼 수 있으므로 결국 하나의 연산과 같아지는 일이 발생합니다. 이러한 계산에 복잡도를 더하기 위해 non-linear를 더해주어야 합니다. 이러한 non-linear연산은 backpropagation에 미분이 사용되므로 미분가능해야합니다. 이러한 조건을 만족하여 layer에서 activation을 구하기 위해 사용하는 함수를 activation function이라고..

※ Coursera의 Build Basic Generative Adversarial Networks (GANs) 강의를 듣고 작성한 글입니다. Week 1에서는 GAN의 기본적인 구조에 대해 학습합니다. Generative Model 이란? 이름 그대로 무언가를 생성하는 모델을 generative model이라고 말합니다. 이를 discriminative model과 비교해볼게요. Discriminative model은 개와 고양이를 나누듯 class를 나누는 작업을 수행합니다. 어떤 이미지 feature가 input으로 들어가면 개인지, 고양이인지하는 class로 output이 나온게 됩니다. Generative model은 이미지를 생성해주는 모델입니다. input과 output이 generative..

이 논문은 AI City Challenge 23 Track 1에서 1등을 한 팀의 논문이다. Track 1은 Multi-Camera Peaple Tracking으로 여러 카메라에서 사람을 인식하고 같은 사람은 카메라에 상관없이 하나의 ID로 tracking하는 task이다. WILDTRACK이나 MMP-TRACK과 같은 다른 Multi-Camera tracking 데이터 셋 처럼 intrinsic과 extrinsic을 제공하지는 않고, 사람들이 움직이는 것을 위에서 바라본 bird-eye view map을 제공한다. 이미 전체 영상이 있는 챌린지여서 offline으로 작동하며, 고정된 카메라들로 이루어진 데이터셋을 다룬다. Overall Pipeline 그림2에서 볼 수 있듯 크게 Single-camer..

이름에서 알 수 있듯 feature matching 모델이다. feature matching이란 두 이미지 사이에서 같은 특징을 찾는 점을 연결해주는 것이다. 이 task를 딥러닝에서 수행하게 되면서 image feature를 찾기보다는 한 이미지에서 다른 이미지로 대응되는 점을 찾는 것으로 변화하게 되었다. feature matching을 통해 homography나 extrinsic parameter를 구하는 등의 task들을 이런 방식의 matching으로도 수행 가능하다. 이후 나온 3DG-STFM과 같은 여러 논문들이 이 방식을 기반으로 연구했다. Method overview 먼저 모델을 빼고 흐름을 살펴보자. 두 이미지 A와 B가 있다. 두 이미지를 동일한 크기의 칸으로 나눈다. (논문에서는 그..

※ 반효경 교수님의 운영체제와 정보기술의 원리를 기반으로 작성하였습니다. 프로세스(Process) 프로세스란 실행 중인 프로그램을 말한다. 실행에 대해서는 4장에서도 살펴보았는데 크게 메모리 할당, CPU할당 두 조건을 만족하는 것을 의미한다. 따라서 프로세스는 메모리에 올라가 CPU를 획득해 자신의 코드를 수행하기도 하고, CPU를 반환하고 입출력 작업을 수행하기도 한다. 그러다가 자신의 임무를 다 수행하고 나면 종료되어 사라진다. 문맥(Context) 문맥이란 프로세스의 현재 상태를 명확히 나타내기위한 정보이다. 여러 프로세스를 함께 수행하는 시분할 시스템 환경에서 CPU는 여러 프로세스에게 돌아가면서 할당되었다가 빼앗기기를 반복한다. 이 과정에서 CPU를 빼앗긴 후 다시 CPU를 획득해 실행될 때 ..

※ 반효경 교수님의 운영체제와 정보기술의 원리를 기반으로 작성하였습니다. 프로그램의 실행 프로그램의 실행(execution)이라고 함은 크게 두 가지 의미를 가진다. 첫 번째는 디스크에 존재하던 실행파일이 메모리에 적재되는 것이고, 두 번째는 프로그램이 CPU를 할당받고 명령(instruction)을 수행하고 있는 상태라는 것이다. 일반적인 컴퓨터 시스템에서 CPU는 하나만 존재하므로 매 시점 실행되는 프로그램은 한 개이지만, 여러 프로그램이 짧은 시간 동안 CPU를 나누어 쓰면서 메모리에 동시에 적재되어 있을 수 있으므로 여러 프로그램이 동시에 실행된다는 말을 보편적으로 사용한다. 메모리에 적재된다는 것을 프로그램 구조와 함께 조금 더 구체적으로 알아보자. 프로그램의 구조 컴퓨터 프로그램은 프로그래밍 ..

※ 이 포스트는 머신러닝 디자인 패턴을 기반으로 작성되었습니다. 딥러닝이 점점 발전해 오면서 모델의 크기는 점점 증가하고, 학습시간 및 추론시간도 점점 증가했다. 예를 들어 ImageNet 데이터셋으로 ResNet-50을 학습시키려면 14일이 소요된다고 한다. 이것은 새로운 아이디어를 반복하거나 parameter를 조절하여 실험하기 위해서 2주를 기다려야 한다는 의미이다. 학습에 걸리는 시간 또한 비용이므로 대규모 신경망의 학습 속도를 높이기 위해 분산처리 전략이 등장했다. Data parallism 데이터를 node(GPU)의 수로 나누어 각 node에 서로 다른 데이터를 할당해 학습시키는 방식이다. 주로 convolution layer가 관련된 것과 같이 가중치당 계산량이 많을 때 유리하다. 데이터 ..