딥러닝 분석가 가리

"Learning with Unmasked Tokens Drives Stronger Vision Learners"AbstractMasked image modeling (MIM) pre-trained encoders often exhibit a limited attention span, attributed to MIM's sole focus on regressing masked tokens only, which may impede the encoder's broader context learningTo tackle the limitation, we improve MIM by explicitly incorporating unmasked tokens into the training processSpecific..

EMCAD: Efficient Multi-scale Convolutional Attention Decodingfor Medical Image Segmentation (CVPR 2024)AbstractIn medical image segmentation, an efficient and effective decoding mechanism is crucialThese decoding mechanisms usually come with high computational costsEMCAD, a new efficient multi-scale convolutional attention decoder, designed to optimize both performance and computational efficien..

"Self-Supervised Hypergraph Convolutional Networks for Session-based Recommendation"Abstract  Session-based recommendation (SBR)은 특정한 시점의 다음을 예측하는데 초점을 맞춘다. 사용자의 프로필은 일반적으로 이러한 시나리오에서 활용가능하지 않기 때문에, 아이템 전환에 놓여있는 사용자의 의도를 파악하는것이 중요하다. 최근 graph nerual networks (GNN) 기반의 SBR 방법은 아이템 전환을 아이템의 정보를 따라서 복잡한 고차원 전환을 무시하는 pairwise 관계로 보장한다. Hypergraph는 beyond-pairwise 관계를 capture 하기 위한 자연스러운 방법을 제공하는 반면,..

"NestedFormer: Netsted Modality-Aware Transformer for Brain Tumor Segmentation" Abstract Multi-modal MR imaging은 풍부한 보완 정보를 제공하여 뇌종양을 진단하는데 임상에서 주로 사용됨 기존의 multi-modal MRI 분할 방법은 다른 modality 간의 concatenation으로 융합하는데, 이는 서로 다른 modalities 간의 비 선형적 의존성을 활용하기 어려움 Modality 내부, modality 간의 관계를 명확하게 활용하는 Nested Modality-Aware Transformer (NestedFormer)를 제안 Transformer 기반의 multi-encoder와 single-decoder ..

"A ConvNet for the 2020s" Abstract 2020년대에 들어서 시각 인식은 합성곱 층으로 구성된, ConvNet들 보다 image classification 에서 높은 성능을 차지한 Vision Transformers (ViTs)가 주가 되었다. 반면에, 기초적인 ViT는 object detection이나 semantic segmentation과 같은 일반적인 computer vision (CV)에 적용했을때 어려움이 있다. 그래서 이전의 ConvNet 처럼 계층적 transformer (Swin Transformer와 같은)로 만들어, 일반 vision 백본으로 사용가능하도록 만들고 다양한 vision task에서 뛰어난 성능을 보여주었다. 하지만, 이러한 혼합적 접근방법의 효과는..

"Single Image Super-Resolution via a Dual Interactive Implicit Neural Network" Abstract 이 논문에서는, 임의의 크기로 SR 하기 위해 implicit neural network(INR)을 사용한 SISR을 소개한다. 이것을 하기 위해, 이미지내의 위치와 연관된 특징을 이미지의 상호간의 픽셀 속성들에 map 해주는 디코딩 함수를 통해 이미지를 표현한다. 픽셀의 위치가 연속적인 표현이 되므로, 제안하는 방법은 이미지가 다양한 해상도에서 임의의 위치를 참조할 수 있다. 특정 이미지의 해상도를 검색하려면, 출력 이미지에서 픽셀의 중심을 각각 지정하는 위치의 그리드에 디코딩 함수를 적용한다. 다른 기술과 대조적으로, dual interactiv..

"Learning Continuous Image Representation with Local Implicit Image Function" Abstract Visual 세계가 연속적인 방법으로 표현되는 동안, 기계들은 픽셀들의 2D 배열로 이미지들을 분리된 방식으로 저장하고 본다. 이 논문에서는, 이미지의 연속적인 표현을 배우는 방법을 찾는다. Implicit neural representation (INR)을 사용한 3D reconstruction에 영감을 받아, 이미지 좌표와 좌표 주변의 2D deep feature를 입력으로 하여, 주어진 좌표의 RGB 값을 예측하는 Local Implicit Image Function (LIIF)를 제안한다. 좌표들이 연속적이기 때문에, LIIF는 arbitrar..

"A Feature Reuse Framework with Texture-adaptive Aggregation for Reference-based Super-Resolution " Abstract Reference-based SR (RefSR)은 고해상도의 이미지를 사용해 저해상도의 영상을 SR 하는 방법으로 single image SR (SISR)의 한계점을 극복했다. 이전 RefSR의 연구는 두가지의 관점에 집중했다. 첫번째는 LR과 Ref 간의 정확한 matching을 하는것이고, 두번째는 Ref 이미지로 부터 유사한 texture와 정보를 효율적으로 전송 및 통합하는 것이다. 그럼에도 불구하고, perceptual loss와 adversial loss는 과소평가 되었다. Perceptual loss..