note

이 논문은 하나의 이미지의 depth, egomotion, object motion, and camera intrinsics을 동시에 학습하는 방식을 제안한다. motion-prediction network는 camera motion, motion of every pixel with respect to the background, and the camera intrinsics(focal lengths, offsets and distortion) 학습하고, 다른 network는 depth maps을 학습한다. 또한 occlusion 변화를 반영하기 위한 loss도 제안한다. 전체적인 Loss를 구하는 방식과 개념은 이전에 정리했던 논문에 기반하므로 이것을 참고하면 도움이 될 것이다. Learning the..

world center구하려면 3D object의 image에 투영된 center($u_{c}$, $v_{c}$)와 world depth($z$)가 필요하다. 이 논문에서는 크게 이 두 가지를 분리해서 구한다. 이 논문은 CenterNet의 확장이라고 볼 수 있다. CenterNet은 heatmap head, offset head, dimension head로 나누어져있다. heatmap head, offset head는 비슷한 기능을 하지만 3D point를 구하고, 이미지 안쪽과 이미지 바깥쪽에 있어 occlusion된 object를 구분하여 center를 구한다는 차이가 있다. Dimension head는 dimension orientation, 2d detection도 같이 구한다는 차이가 있다...

이 논문은 이미지에서 인식된 obeject(차량)의 실제 bounding box를 중심/크기/각도로 나누어 정보를 얻어 구할 수 있게 하는 모델을 제안하고 있다. 하나의 이미지에서 차량의 실제 정보를 얻을 수 있는(3D object detection) one-stage architecture를 제안하였으며, 중심/크기/각도로 분리하여 구하는 방식(multi-step disentanglement approach)을 제안하였다. Backbone - DLA(Deep Layer Aggregation)-34 수정해서 사용 - 모든 hierarchical aggregation을 DCN(Deformable Convolutional Networks)으로 대체 hierarchical aggregation은 같은 계층의 ..

이 논문은 unsupervised한 방법으로 image depth를 구하는 모델을 학습시키는 방법이다. 학습에는 sequential한 이미지가 필요하고, 각 이미지의 pose를 이용해 한 이미지의 point들을 다른 이미지로 projection하고, projection된 위치의 점과 Intensity를 비교해 loss를 구한다. 여기서 pose도 model output이므로 gt없이 loss 계산이 가능해진다. Overview 조금 더 구체적으로 살펴보면 다음과 같은 단계로 나누어 생각해 볼 수 있다. 1. $t$에서의 이미지 $I_{t}$를 depth CNN에 통과시켜 Depthmap $\hat{D_{t}}(p)$를 구한다.(Depth map은 모든 이미지 픽셀에 대한 depth를 가지고 있다.) 2...