딥러닝 분석가 가리

"A ConvNet for the 2020s" Abstract 2020년대에 들어서 시각 인식은 합성곱 층으로 구성된, ConvNet들 보다 image classification 에서 높은 성능을 차지한 Vision Transformers (ViTs)가 주가 되었다. 반면에, 기초적인 ViT는 object detection이나 semantic segmentation과 같은 일반적인 computer vision (CV)에 적용했을때 어려움이 있다. 그래서 이전의 ConvNet 처럼 계층적 transformer (Swin Transformer와 같은)로 만들어, 일반 vision 백본으로 사용가능하도록 만들고 다양한 vision task에서 뛰어난 성능을 보여주었다. 하지만, 이러한 혼합적 접근방법의 효과는..

"Activating More Pixels in Image Super-Resolution Transformer " Abstract Transformer 기반의 image super-resolution 같은 low-level vision task는 좋은 성능을 보였다. 하지만, Transformer 기반의 네트워크는 attribution 분석을 통해 제한된 공간 범위의 입력 정보만 사용한다. 이러한 것은 transformer의 잠재력이 여전히 기존 네트워크에 비해 완전히 활용되지 않는다는것을 의미한다. 그래서 더 많은 입력 픽셀을 활성화 하기 위해 HAT(Hybrid Attention Transformer)를 제안한다. HAT는 CA(Channel Attention)과 self-attention을 결합해 ..