본 논문은 2016년 ILSVRC(ImageNet Large Scale Visual Recognition Competition) Classification 분야에서 처음으로 인간의 인지 에러율보다 낮은 에러율을 달성한 Backbone Network이다. Residual Block 구조를 제시함으로서 기존 22 레이어에 불과했던 신경망을 최대 152 레이어의 깊은 구조의 신경망을 설계하였다. Residual Block의 구조에 대해 자세히 살펴보고 어떻게 깊은 신경망 최적화 문제를 접근했는지 살펴보고자 한다.

Reference: He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.

  Object Detection은 주변 환경을 측정한 센서 데이터로부터 의미 있는 객체(e.g. 보행자, 자동차)를 인지하는 것을 의미한다. 자율주행 자동차의 경우, 안전한 주행을 위해 보행자, 자동차, 신호등, 도로 표지판과 같은 다수의 객체를 높은 정확성과 낮은 Latency로 인식하는 것이 필수적이다. 따라서 실시간성을 크게 개선시킨 1-Stage Detector YOLO(You Only Look Once)의 구조와 동작 원리에 대해서 살펴보고자 한다. 이어서 최근 정확성에서 SOTA를 달성한 EfficientDet에서 차용하고 있는 Feature Pyramid Network의 원리에 대해서 살펴보고자 한다.

Reference
1. Redmon, Joseph, et al. "You only look once: Unified, real-time object detection." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.

2. Liu, W., et al. "SSD: Single shot multibox detector. arXiv 2016." arXiv preprint.

3. Lin, Tsung-Yi, et al. "Feature pyramid networks for object detection." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.

  Semantic Segmentation은 주변 환경을 측정한 센서 데이터로부터 같은 의미의 데이터를 찾아 표현하는 과정을 의미한다. 디지털 이미지의 경우, 각 픽셀이 속하는 클래스를 찾아서 같은 의미를 갖는 영역으로 표현한다. Semantic Segmentation의 입력 이미지의 크기와 출력 텐서의 크기는 동일하므로 Segmentation 신경망은 Semantic 정보를 추출하는 Encoder와 Semantic 정보로 부터 원래 이미지의 크기로 복원하는 Decoder로 구성되어 있다. 처음으로 제시된 Semantic Segmentation 구조인 Fully Convolutional Network의 구조에 대해 살펴보고, Skip Connection을 적용하여 세밀하고 작은 정보를 깊은 층으로 전달한 U-Net 구조에 대해서 살펴보고자 한다.

Reference

1. Long, J., et al. "Fully convolutional networks for semantic segmentation. arXiv 2014." arXiv preprint arXiv:1411.4038 (2014).

2. Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015.

  차선 인식은 자율주행차의 안전한 도로 주행을 위해서 필수적인 기능이다. 이미지 처리 기반의 차선 인식의 경우, 하이퍼 파라미터에 민감하며 가린 차선 등을 추론하는데 어려움이 있기 때문에 현재 딥러닝 기반의 차선 인식 알고리즘이 개발되고 있다. 딥러닝 기반 차선 인식은 일반적으로 많은 연산량을 필요로 하는 Semantic Segmentation 구조로 구현하기 때문에 많은 연산량을 필요로 한다. 하지만 본 논문에서 제시한 신경망은 Grid Cell을 도입하고 Lane에 대한 Domain Knowledge를 고려한 손실 함수 설계로 높은 정확성과 낮은 Latency를 도달하였다. 본 논문의 차선 인식 신경망 구조와 원리에 대해 살펴보고자 한다.

Reference: Qin, Zequn, Huanyu Wang, and Xi Li. "Ultra Fast Structure-aware Deep Lane Detection." arXiv preprint arXiv:2004.11757 (2020).

  딥러닝을 적용한 Object Detection, Semantic Segmentation 등의 Task 성능은 Backbone Network의 성능과 비례한다[1]. 따라서 Backbone Network의 성능을 높이는 것이 Task의 성능을 높이는 데 필수적이다. Backbone Network는 SENet(2017)까지 신경망의 크기를 키움으로서 Backbone의 성능을 높이는데 집중했었다. 하지만 최근에는 자율주행과 같이 다수의 신경망을 탑재해야하는 Edge Computing이 중요해짐에 따라 MobileNet(2017), MNasNet(2018) 등의 Compact Architecture에 대한 연구가 진행되고 있다. 현재까지 개발된 Compact Network Architecture에 대해 살펴보고자 한다.

Reference

1. Kornblith, S., J. Shlens, and Q. V. Le. "Do better ImageNet models transfer better? arXiv 2018." arXiv preprint arXiv:1805.08974.

2. Huang, Gao, et al. "Densely connected convolutional networks. arXiv 2016." arXiv preprint arXiv:1608.06993 1608 (2018).

3. Xie, Saining, et al. "Aggregated residual transformations for deep neural networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.

4. Howard, Andrew G., et al. "Mobilenets: Efficient convolutional neural networks for mobile vision applications." arXiv preprint arXiv:1704.04861 (2017).

5. Tan, Mingxing, and Quoc V. Le. "Efficientnet: Rethinking model scaling for convolutional neural networks." arXiv preprint arXiv:1905.11946 (2019).