딥러닝 분석가 가리

"Omni Aggregation Networks for Lightweight Image Super-Resolution" Abstract 경령화 된 ViT frame work는 이미지 super-resolution(SR)에서 엄청난 발전을 이루었지만, uni-dimensional, 일차원의 self-attention 모델링 뿐만 아니라 homogeneous aggregation 방법은 effective receptive field(ERF)를 공간 및 채널 차원 모두에서 보다 포괄적인 상호작용을 포함하도록 제한한다. 이러한 단점을 해결하기위해 새로운 Omni-SR 구조에서 두가지 개선된 구성요소를 제안한다. 첫번째, Omni Self-Attention (OSA) block은 dense interaction ..

"Cross-Scale Internal Graph Neural Network for Image Super-Resolution" Abstract Natural 영상의 non-local self-similarity는 영상 복원전에 효과적인것으로 연구되었다. 하지만, SISR(Single Image Super-Resolution)에서 존재하는 대부분의 non-local method(non-local neural network 같은)는 입력 영상인 LR(Low-Resolution)의 같은 scale에서만 similar patch를 exploit한다. 결과적으로 복원은 같은 크기의 영상의 정보를 사용하는것이 제한되고 다른 크기의 potential HR(High Resolution) 신호는 무시된다. 그래서, 본 ..

"Non-local Neural Networks" Abstract Convolutional과 반복적인 연산은 한 번에 하나의 지역(one local neighborhood)을 처리하는 building block이다. 본 논문에서는 장거리 의존성을 알기 위한 일반적인 family of building blocks인 non-local 연산을 제안한다. Computer vision의 고전적인 non-local means method에 영감을 받아, non-local operation은 모든 위치에서 feature의 가중치 합으로 각 위치에서의 response(반응)을 계산한다. 이러한 building block은 많은 computer vision의 구조에 더할수 있다. Video classification 에..

"RZSR : Referenced-based Zero-Shot Super-Resolution with Depth Guided Self-Exemplars" Abstract 최근 SISR(Single Image Super Resolution)방법들은 LR(low-resolution) 영상으로 부터 HR(high-Resolution) 영상을 생성하는데 뛰어난 성능을 입증했다. 하지만, 이러한 SISR 방법들은 ideal한 방법으로 생성된 LR 영상에서만 좋은 성능을 보이며 real-world에서 생성된, non-ideal한 방법으로 생성된 LR 영상에서는 성능이 좋지 못하다. 본 논문에서는, robust SR을 위해 개발된 RefSR(Referenced-based SR)과 ZSSR(Zero-shot SR)을 ..

"Online Learning for Reference-Based Super-Resolution Review" Abstract Online learning은 테스트 단계에서 입력 데이터가 심층 네트워크에 업데이트해서 성능 개선을 도출하는 방법이다. SISR(Single Image Super-Resolution)에서 online learning 방법은 심층 네트워크의 online adaptation을 위해 LR(저해상도) 영상을 사용한다. SISIR 방법과 다른, RefSR(Reference-based SR) 알고리즘은 입력 LR 영상을 개선하는데 유용한 기능이 포함된 HR(고해상도) 참조 영상의 이점을 제공한다. 그로므로 본 논문에서는 RefSR 뿐만 아니라 SISR에도 해당되는, 몇가지 ref 영상을 ..

"Robust Reference-based Super-Resolution with Similarity-Aware Deformable Convolution" Abstract 본 논문에서는 RefSR(reference-based SR) 작업을 위해 SSEN(Similarity Search and Extraction Network)을 참조하는 새롬고 효율적인 referenced feature extraction 모듈을 제안한다. 제안된 모듈은 SISR(Singe Image Super-Resolution)의 성능을 향상시키기 위해 참조 이미지(reference image) aligned relevant feature(정렬된 관련있는 이미지?)를 추출한다. Brute-force searches 혹은 Optical..

Meta-Transfer Learning for Zero-Shot Super-Resolution Abstract CNN은 large-scale external smaples를 사용한 SISR(Single Image Super Resolution)에서 좋은 성능을 보였다. External 데이터셋에 기반한 성능은 뛰어날 지라도, specific image의 internal information을 알수 없고, supervised에서 경험한 특정한 조건의 데이터에만 적용할 수 있다. 이러한 문제를 해결하기위해 ZSSR(Zero Shot Super-Resolution)이 제안되었지만, 추론시간이 길다는(몇천번의 gradient 업데이트가 필요) 단점이 있다. 본 논문에서는 MZSR(Meta-Transfer Le..

"Zero-Shot" Super-Resolution using Deep Internal Learning Abstract 지난 몇년동안 Deep Learning은 SR(Super-Resolution, 초고해상도)에서 뛰어난 성능을 보여주었다. 하지만, 지도학습 기반의 SR 방법은 특정한 데이터셋에서만 제한적이다. HR(High-Resolution) 이미지로 부터 bicubic dwonscaling 방법과 같은 미리 정해진 방법으로 LR(Low-Resolution) 이미지 획득한다. 실제 LR 이미지는 위와 같은 방법을 따르는 경우는 드물기 때문에, SOTA 방법을 적용하면 SR의 결과가 좋지 않다. 그래서 "Zero-Shot" SR 방법을 소개한다. Deep Learning에 의존하지만, 사전 학습된 것에..