딥러닝 분석가 가리

"Adversarial Text Image Super-Resolution Using Sinkhorn Distance" Abstract Convolutional nerual network 기반의 방법들은 SISR에서의 좋은 성능을 보인다는것을 증명했지만, text를 원본 처럼 나타내기에는 어려움이 있다. 그래서 본 논문에서는, supervision 방법인 Lp-norm을 사용하는것 대신에, 텍스트 이미지에서 의미있는 정보를 더 많이 보존 할 수 있는 새로운 방법을 제안한다. 새로운 방법은 적대적으로 학습된 feature 공간에서 정의된 Sinkhorn 거리와 기본 형태의 optimal transport를 결합한다. Sinkhorn 거리가 두 feature의 구성요소와 spatial locations 측명에..

https://dlgari33.tistory.com/13 Graph Neural Network in Image (1) Graph and Tree 데이터는 euclidean data와 non-euclidean data로 나눌수 있는데 이때, non-euclidean data는 graph나 tree 구조를 가진 데이터이다. Graph는 연결된 edge들이 방향성이 있거나 없는 순환되는 구조, tree는 dlgari33.tistory.com https://dlgari33.tistory.com/14 Graph Neural Network in Image (2) https://dlgari33.tistory.com/13 이번 포스팅은 Spatial-based ConvGNNs을 다루므로 Spectral-based Co..

https://dlgari33.tistory.com/13 이번 포스팅은 Spatial-based ConvGNNs을 다루므로 Spectral-based ConvGNNs 내용은 위 블로그 글을 참조하세요! Spatial-based ConvGNNs 영상에서 CNN과 유사한 convolutional 연산인 spatial-based 방법은 노드들의 공간상의 관계에 기반해 graph convolution을 정의한다. 영상은 각 픽셀이 노드로 나타나는 그래프의 특별한 형태로 고려되어질수 있다. 2D convolution과 graph convolution의 형태는 그림 1과 같다. 2D conv가 중심픽셀로 부터 인접한 픽셀을 kernel로 가중치를 계산하듯 graph conv도 중심 노드로 부터 인접한 노드간의 가중..

Graph and Tree 데이터는 euclidean data와 non-euclidean data로 나눌수 있는데 이때, non-euclidean data는 graph나 tree 구조를 가진 데이터이다. Graph는 연결된 edge들이 방향성이 있거나 없는 순환되는 구조, tree는 방향성이 있는 그래프의 종류, 단, tree는 root node가 하나로 고정되어있다. Graph와 Tree의 구조는 그림 1과 같다. A Comprehensive Survey on Graph Neural Networks https://arxiv.org/pdf/1901.00596.pdf 에서는 Graph를 총 4가지 RecGNN(Recurrent Graph Neural Network), ConvGNN (Convolutiona..

"Cross-Scale Internal Graph Neural Network for Image Super-Resolution" Abstract Natural 영상의 non-local self-similarity는 영상 복원전에 효과적인것으로 연구되었다. 하지만, SISR(Single Image Super-Resolution)에서 존재하는 대부분의 non-local method(non-local neural network 같은)는 입력 영상인 LR(Low-Resolution)의 같은 scale에서만 similar patch를 exploit한다. 결과적으로 복원은 같은 크기의 영상의 정보를 사용하는것이 제한되고 다른 크기의 potential HR(High Resolution) 신호는 무시된다. 그래서, 본 ..

"Activating More Pixels in Image Super-Resolution Transformer " Abstract Transformer 기반의 image super-resolution 같은 low-level vision task는 좋은 성능을 보였다. 하지만, Transformer 기반의 네트워크는 attribution 분석을 통해 제한된 공간 범위의 입력 정보만 사용한다. 이러한 것은 transformer의 잠재력이 여전히 기존 네트워크에 비해 완전히 활용되지 않는다는것을 의미한다. 그래서 더 많은 입력 픽셀을 활성화 하기 위해 HAT(Hybrid Attention Transformer)를 제안한다. HAT는 CA(Channel Attention)과 self-attention을 결합해 ..

"CSPNET : A NEW BACKBONE THAT CAN ENHANCE LEARNING CAPABILITY OF CNN" Abstract Nerual network는 computer vision에서 엄청난 성과를 나타낼수 있게 한다. 하지만, 몇몇의 성과들은 높은 컴퓨팅 자원을 요구한다. 그래서, 본 논문에서는 모델들이 테스트시 많은 자원이 필요하다는 문제점을 완화하기 위해 CSPNet(Cross Stage Partial Network)을 제안한다. 자원이 많이 필요하다는 문제를 네트워크 최적화 내의 중복된 gradient 정보 탓으로 생각한다. 제안된 네트워크는 네트워크의 시작과 끝에서 feature map을 통합해 gradient의 가변성을 존중한다. 실험에서는 연상량을 20%나 줄였지만 성능은 ..

"Non-local Neural Networks" Abstract Convolutional과 반복적인 연산은 한 번에 하나의 지역(one local neighborhood)을 처리하는 building block이다. 본 논문에서는 장거리 의존성을 알기 위한 일반적인 family of building blocks인 non-local 연산을 제안한다. Computer vision의 고전적인 non-local means method에 영감을 받아, non-local operation은 모든 위치에서 feature의 가중치 합으로 각 위치에서의 response(반응)을 계산한다. 이러한 building block은 많은 computer vision의 구조에 더할수 있다. Video classification 에..