OCELOT: Overlapped Cell on Tissue Dataset for Histopathology Review

"OCELOT: Overlapped Cell on Tissue Dataset for Histopathology"

 

Abstract

  Whole-slide 영상에서 high-level 정보를 추출할 수 있는 Cell detection은 계산 병리학에서 근본적인 task이다. 정확한 cell detection을 위해, 병리학자는 종종 tissue-level 구조를 이해하기 위해 zoom-out하고 세포의 형태학과 주변 환경에 기반해 세포를 분류하기 위해 zoom-in 한다. 하지만, 주로 중복 영역이 있는 cell 이나 tissue 주석을 모두 포함하는 데이터 세트가 부족하기 때문에 cell detection 모델에 병리학자의 이러한 행동을 반영하기가 어렵다. 이러한 한계를 극복하기 위해, 조직 병리학에서 cell detection을 위한 cell-tissue 관계 연구에 전념하는 데이터 세트인 OCELOT를 제안한다. OCELOT는 여러 기관에서 획득한 overlapping cell과 tissue 주석이 있는 영상을 제공한다. 이러한 설정에서, 저자는 또한 multi-task learning 방법을 제안한다. Multi-task learning은 cell과 tissue를 동시에 학습하는 이점이 있다. Cell detection task를 위해 훈련된 모델들만을 비교했을때, 우리가 제안한 방법이 3개의 데이터 셋인 OCELOT, TIGER, CARP에서 개선된 성능을 보였다. OCELOT test set에서는 F1-score가 6.79 향상되었다. 이 논문의 기여한 부분이 계산 병리학에서 cell-tissue 관계를 통합하는 중요한 연구 방향을 향한 출발점이 될것이라고 믿고 있다. OCELOT dataset은 'https://lunit-io.github.io/research/publications/ocelot'  에서 확인할 수 있다.

Introduction

  계산 병리학(CPATH)은 Whole-Slide-Images(WSIs)와 같은 디지털화 된 환자의 specimens를 분석하는 방법을 개발시키는 디지털 병리학의 한 종류이다. 조직 영상의 cell detection은 CPATH에서 가장 중요한 task이다. CPATH는 다양한 cell 유형의 정량화와 분석이 가능하다. 이러한 분석 및 정량화로 더 나은 예후 평가로 이어지고 의학적 해석 가능성을 유지하며 환자의 치료 계획을 세울 수 있다. 인간의 생명에 영향을 미칠 수 있으므로 cell detection 모델은 실제 응용 분야에서 필수적이며 연구해야한다.

  세포의 색과 모양같은 형태학적 특징은 세포를 더 잘 찾고 분류하기 위해 중요한 정보이다. 결과적으로, cell detection dataset은 일반적으로 고배율로 수집되지만 시야(FoV)는 작다. 하지만, 이것은 cell detection model이 더 넓은 맥락을 이해하지 못한 채 외부 세부사항에 지나치게 의족하도록 만들 수 있다. 이러한 맥락은 세포가 어떻게 배열되고 그룹화 되어 high-level tissue 구조를 형성하는지에 대한 정보를 제공함으로 써 cell detection에 도움을 줄 수 있다. 실제로, 전문적인 병리학자는 처음에 zoom out을 해 전반적인 tissue의 구조를 이해한다. 다음, zoom in 하여 좀 더 세밀한 정보를 얻어 개별적 세포를 더 잘 분류한다. 이는 그림 1에 묘사된다.

  예를들어 병리학자의 이러한 행동은 고배율의 cell detection과 저배율의 tissue segmentation을 결합한 multi-task 전략을 통해 딥러닝으로 전환될 수 있다. 이러한 유형의 접근 방식을 통해 다양한 작업 및 FoV에 걸쳐 지식을 공유할 수 있다. 하지만, 이러한 방법의 훈련은 cell-tissue overlapping region dataset이 필요한데, 대부분의 data는 cell detection 혹은 tissue segmentation에만 초점을 맞추고 있다.

  따라서, 본 논문에서는 cell detection을 위한 cell-tissue 관계를 연구할 수 있는 새로운 연구 방향을 소개한다. 먼저, OCELOT dataset을 공개한다. OCELOT는 작고 큰 FoV patches에서 각각 cell과 tissue 주석을 포함한다. 추가적으로 data는 다양한 기관의 WSIs 로부터 수집되었다. 이것은 연구자들이 cell-tissue 조직 관계와 세포 탐지에 미치는 영향을 연구하는데 필요한 데이터를 제공할 수 있다. 둘째, 저자는 cell-tissue 관계에서 이득을 얻고 3개의 다른 dataset에 대한 장범을 입증할 수 있는 cell detection을 위한 간단한 multi-tasking 학습 방법을 소개한다. 이 방법은 기존의 cell 주석만을 사용해 cell detection한 방법보다 개선된 성능을 보여준다. 저자는 제안된 OCELOT dataset와 방법이 CAPTH 커뮤니티가 cell-tissue 관계를 더 잘 반영해 cell detection을 개선하는 방법을 배우도록 장려한다.

Contribution

• 더 나은 cell detection을 위해 cell-tissue 관계를 이용한 첫번째 방법
• H&E(Hematoxylian and Eosin) 염색 WSIs를 기반으로 한 중복된 cell-tissue 주석이 있는 OCELOT dataset 공개
• Multi-tasking 학습을 통해 cell detection 성능을 향상시키는 몇가지 접근법을 소개하고, 이러한 방법이 다양한 dataset와 조직학적 염색에 걸쳐 일반화 된다는것을 경험적으로 확인

OCELOT

  이 절에서는 cell과 tissue 관계를 활용하는 방법을 개발할 수 있도록 제작된 조직병리학 dataset인 OCELOT를 소개한다. OCELOT는 다음과 같이 6개의 구성요소로 구성된다.

x는 WSIs에서 추출한 small과 large FoV patches, y는 해당 cell 및 tissue 주석을 각각 참조, c는 x 중심의 상대 좌표다. 단순화를 위해 샘플 인덱스 i를 삭제한다. 그림 2는 OCELOT 데이터의 샘플이다. 데이터의 더 자세한 사항은 다음 주소에서 확인할 수 있다. 'https://lunit-io.github.io/research/publications/ocelot/'

Data Collection

  신장, 두경부, 전립선, 위, 자궁내막, 방광 등 총 6개의 다른 기관에서 306개의 TCGA WSI를 수집한다. 각 WSI에서 tissue segmentation을 위해 1~3개의 ROI를 선택한다. 마지막으로, cell detection을 위해 큰 조직 ROI 내에 완전히 포함된 작은 ROI를 무작위로 선택한다. 결과적으로 OCELOT는 6개의 가관에서 673개의 paired patches를 포함한다. 장기당 WSI 수와 patch 쌍은 표 2와 같다.

Patch Configuration. 

  Cell detection 작업은 세부적인 세포의 속성(테두리, 모양, 색상 및 불투명도)을 더 잘 포착하기 위해 세분화된 공간 정보의 이점을 누린다. 대조적으로 tissue segmentation은 전반적인 구조의 정보를 더 잘 이해하기 위해 더 큰 맥락을 요구한다. 그러므로 FoV 크기, cell detectoin은 1024×1024 tissue segmentation은 4096×4096으로 픽셀당 0.2 Micronsper-Pixel(MPP)로 정의한다. 마지막으로, large FoV patch와 tissue 주석은 1024×1024 크기로 4배 작아진다.

Annotation

  모든 cell-tissue patches 쌍은 위원회의 공인을 받은 병리학자들이 주석을 달았다. Cell은 2D 좌표 및 class label이 연결된 점으로 레이블이 지정된다. Cell 주석은 Tumor Cell (TC)와 Background Cell (BC)로 정의한다. TC와 BC의 비율은 35.01%, 64.99% 이다. Tissue는 Cancer Area (CA)와 Background (BG)로 구분된다. Tissue class가 불확실한 몇개의 픽셀은 Unknown(UNK)로 지정된다. Class 비율은 55.77%, 40.17%, 4.06% 이다. 데이터 분할당 주석이 달린 cell과 tissue 픽셀 양은 추가 자료에서 확인할 수 있고, TC와 BC의 검출은 임상적으로 관련이 있다.

Empirical Analysis

  Cell detection 모델을 개발하기 위해 cell-tissue 관계를 고려하는 동기는 cell과 tissue의 생물학적 그리고 계층적 배열에서 비롯된다. 이러한 통찰력은 아래의 설명에서 두가지 주요 경험적 관찰에 의해 더욱 입증된다.

Interrelation between cell and tissue classes

  저자는 표 3에서 관찰된 것처럼 각 tissue 영역 내에서 주석이 달린 각 cell 유형의 양을 세어 특정 cell과 tissue 클래스 간의 상호 관계를 경험적으로 관찰한다. 실제로, OCELOT 데이터 셋에서 검증했다, TC의 약 93%는 CA 내에 위치하고 BC는 85% CA tissue 외부에서 발견된다. CA는 대부분의 tissue class가 아니다(표4). 그래서 저자는 실제로 cell과 tissue class 사이에 관계가 있다는 결론을 내렸다. 저자는 LC와 ST class를 고렻할때 TIGER dataset에서 유사한 현상을 관찰한다(표 3, 4).

Tissue-label Leaking Model

  이전 절 에서는 cell과 tissue class 사이의 강력한 관계를 관찰했다. Cell detectoin 모델이 tissue 구조의 정보를 활용할 수 있다는 가설을 추가적으로 검증하기 위해 cell detection 모델에 대한 추가 입력으로 tissue 주석이 제공되는 탐색 실험을 설계한다. 이를 위해, 먼저 tissue 주석의 y로 부터 cell patch해 해당되는 부분을 crop 하고 cell patch x의 크기가 일치하도록 해상도를 키운다. Cropped tissue는 y_s^t 라고 정의한다. 마지막으로 x와 y를 channel 차원으로 연결시키고 cell detection 모델에 사용한다. 이러한 모델인 Tissue-label leaking model은 그림 3과 같다. 이 모델은 추론 시점에 tissue label을 알 수 없으며 경험적 분석을 목적으로 탐색되기 때문에 실제 시나리오에 적합하지가 않다.

  OCELOT dataset을 사용해 기존의 cell detection 모델과 Tissue leaking model의 성능을 비교했을때 검증 데이터와 평가 데이터에서 F1-score가 7.69, 9.76 향상되는것을 관찰했다. 상세한 결과는 아래의 표 5에 나온다. 이러한 결과를 고려해, 저자는 cell detectoin 및 tissue segmentation 작업을 결합해 cell detection 모델을 개선시킬 수 있다고 한다.

Method

  이 절에서는 multi-task 학습을 통해 cell-tissue 관계를 사용하는 방법을 제안한다. 먼저, Tissue-label Leaking Model에서 영감을 받아 접근 방식을 제안한다. 이러한 모델은 주석이 달린 tissue label을 보조 tissue segmentation 예측으로 대체한다. 다음, tissue-to-cell 및 cell-to-tissue 방향의 특징을 모두 공유하는 양 방향 공유 접근 방식을 설계한다. 

Preliminary

  Cell-tissue 샘플 쌍을 다루기 위해 cell과 tissue 작업이 분할된 dual-branch 구조를 설계한다. Cell detection을 segmentation task로 정의한다. 구체적으로, cell labels은 각 cell point 주석을 중심으로 고정 반지름 원을 그리고 해당 클래스 레이블로 채워 segmentation map으로 제공된다. 추론 할 때는, 예측된 셀 확률 맵 내에서 local peak를 찾아 점 예측으로 출력한다. 더 자세하게는 supplementary에 나타난다. Cell detection을 segmentation task로 다루면, cell과 tissue 분기 모두 동일한 구조를 사용할 수 있으므로 모델의 훈련과 튜닝을 크게 단순화 하고 신경망 구조 또는 하이퍼 파라미터와 같은 가능한 결정의 범위를 줄일 수 있다. Branches와 single-task 모델 둘다 DeepLabV3를 base 구조로 사용한다.

Tissue-prediction Injection Models

  이러한 모델은 tissue-label 모델을 간단하고 실용적인 확장으로, tissue label 대신에 예측된 tissue 확률을 cell detection branch에 주입한다. Cell detection branch에서 오직 한 개의 주입 점을 고려하지만, 4개의 가능한 대안을 탐구한다 (a) 입력 (Pred-to-input), (b) 인코더 이후 (Pred-to-inter-1), (c) ASPP 이후 (Pred-to-inter-2), (d) 디코더 이후 (Pred-to-ouput). 그림 4는 Tissue-prediction injection 이라고 표시된 모델을 묘사한다. Tissue와 cell patches가 다른 부분을 나타낸 이래로, tissue와 cell feature map을 concat하기 이전에 content를 일치시킬 필요가 있다. 그러므로 tissue 예측에 해당되는 cell을 crop하고, upsample 한 뒤, 최종적으로 cell branch에서 channel 차원으로 feature map을 concat 한다. 이는 그림 5에서 묘사된다.

Cell-Tissue Feature Sharing Model

  Tissue-prediction injection 모델은 tissue-to-cell 처럼 단일 위치와 방향에서 tissue 예측을 공유한다. 더 다양하고 유연하게 cell과 tissue간의 정보를 흐르도록 하기 위해, 그림 5처럼 tissue과 cell간의 정보를 양방향으로 공유하는 방법을 탐구한다. 이러한 두 연산을 고려해, 아키텍처 검색 절차를 수행해 두 branch간의 최적의 feature map 공유 구성을 찾는다. 탐색 공간을 제한하기 위해 구조겡서 오직 3가지의 position: 인코더 이후, ASPP 모듈 이후 혹은 디코더 이후에 포함한다. 게다가, 오직 branch에서 같은 depth혹은 position에서 feature map을 주입하는것을 허락한다. 최종적으로 64가지의 후보군에서 최고의 성능의 모델만을 고려한다. 이는 그림 6에 나타나고 해당 모델을 cell-tissue feature sharing이라고 지었다.

Experiments and Results

  OCELOT 및 2개의 다른 데이터셋 에서 제안된 모델을 평가해 cell detection 모델 내에서 cell-tissue 관계를 통합한느것이 유익하다는 가설을 검증한다. 먼저, dataset과 implementation details을 추가적으로 설명한다. 그리고 나서, multi-tasking 학습 방법이 어떻게 cell detection 성능을 향상시킬수 있는지를 보여준다. 마지막으로, large FoV patches 사용의 중요성과 tissue segmentation labels에 해당되는 것이 어떻게 cell-tissue 관계를 강화시킬수 있는지에 대해 조사하는 ablation sutdy를 수행한다.

Other Datasets

  OCELOT 말고 다른 데이터셋으로는 TIGER와 CARP를 사용한다. TIGER는 public dataset으로, H&E 염색을 기반으로하며, cell과 tissue주석 둘다 가지고 있다. CARP는 폐암 dataset으로 WSIs 이미지로 부터 patch를 추출한 데이터이다. 데이터의 자세한 내용은 해당 논문을 참조.

Implementation details

• Baseline Model : DeepLabV3+ (encoder: ResNet34)
• Epochs : OCELOT(300), TIGER(150), CARP(100)
• Optimizer : Adam, Learning rate : [0.00005, 0.002]
• 구현의 더 자세한 내용은 Supplementary를 참조

Main Results

  Cell detection 결과는 Cell-only baseline, 제안하는 방법, Tissue-label leaking model 3가지가 있으며, 이는 표 5에 나타난다. Cell-only baseline은 FoV patches를 입력으로 받은 간단한 cell detection 모델이다. 다시 말하면, 그림 4에서 cell branch만을 고려한것이고 large FoV patches인 tissue 주석을 사용하지 않은 것이다. Tissue-label leaking model은 'Tissue-prediction Injection Models' 에서 설명했듯이, tissue 주석을 입력으로 받고 cell detection 작업이 tissue 주석을 활용해 얼마나 많은 이점을 얻을 수 있는지에 대한 통찰력을 얻기 위한 탐색적 실험 역할을 한다.

  표 5로 부터 Pred-to-ouput 을 제외한 모든 cell-tissue multi-task learning-based 방법이 모든 데이터에서 cell-only의 성능을 능가하는것을 관찰했다. 이러한 개선은 small FoV patches에 대한 cell detectoin이 large FoVs와 tissue 주석을 모두에서 cell-tissue 상호 관계를 학습함으로 써 이점을 얻을 수 있음을 의미한다. Pred-to-output의 성능이 낮은 이유는 cell 분기에 tissue 예측 주입이 너무 늦게 발생하기 때문이라고 가정한다. 따라서 cell과 tissue 정보를 융합하기 위한 네트워크의 수용능력이 부족하다.

  게다가 표 6은 OCELOT test data의 각 기관의 F1-score를 의미한다. Pred-to-output을 제외한 모든 방법들이 Cell-only baseline 보다 개선된 성능을 보여준다. 특히, 성능이 가장 좋은 Pred-to-inter-2는 모든 기관에서 Cell-only에 비해 상당한 차이를 보이며 우수한 성능을 보여준다. 이러한 결과는 cell-tissue관계를 고려하는것이 일반적으로 다양한 장기에 걸쳐서 cell detection 작업에 도움이 될 수 있는것을 보여준다.

Dataset Ablation Study

  OCELOT의 두 가지 데이터 구성 요소는 cell detectoin 작업에 cell-tissue 관계를 더 잘 활용하는데 기여한다: (1) large FoV patches, (2) 해당 tissue 주석 들은 tissue segmentation 목표와 multi-tasking 학습 설정을 가능하게 한다. 각 데이터의 성분의 효율성을 검증하기 위해, 모델의 구조를 고정하며 각 구성요소를 개별적으로 평가하는 ablation 연구를 수행한다. 먼저, 만약 tissue segmentation label이 large FoV patches 없이 주어진다면, tissue branch는 small FoV만을 입력으로 취하고 이것은 tissue와 cell detection 두가지를 목적으로 한다. 두번째, 만약 large FoV patch가 해당되는 tissue label 없이 주어진다면, tissue branch는 large FoV를 입력으로 취하고 모델은 오직 cell detection을 목적으로만 훈련된다.

  Ablation study의 결과는 표 7과 같다. 각각의 개별 구성요소가 자체적으로 성능 향상으로 이어지는것을 관찰했다. 따라서, large FoV patch와 tissue segmentation label이 각각 더 넓은 맥락을 제공하고 cell-tissue 관계를 인코딩함으로써 더 나은 cell detection에 기여할 수 있다고 결론 지었다. 또한 동시에 사용할 경우 두 구성 요소가 모두 시너지 효과를 발휘해 성능이 더욱 향상된다는 것을 알 수 있었다. Tissue branch가 large FoV로 훈련될 때 더 나은 tissue prediction을 생성한다는것을 발견했다. 따라서, 정확환 tissue 정보를 cell branch에 제공하는것은 성능을 향상시키는데 중요하다. 최종적으로 이 연구는 OCELOT에 정의된 patch 배열이 cell-tissue간의 협력 훈련에 유용하다는것을 보여준다.

Qualitative Analysis

  이 절에서는 Cell-only와 Pred-to-inter-2 모델의 예측결과를 시각화 한다. Pred-to-inter-2 모델을 선택한 이유는 설계한 모델들 중 가장 좋은 성능을 보여서 이다. 일반적으로 다른 background cell과 비교했을때 tumor cell은 다음과 같은 특성을 가진다: large size and irregular shape. 하지만, 암은 이질적으며 항상 그렇지는 않다. 실제로 그림 7을 보면 대부분의 cell이 작고 규칙적인 둥근 모양을 가진다. 이러한 외형과 더 큰 context 없이 이러한 cell은 쉽게 배경 cell 로 잘 못 분류 될 수 있으며, 이는 cell 전용 모델의 경우이다. 반면에, Pred-to-inter-2는 large FoV 영역의 암 영역을 정확하게 이해함으로써 더 정확한 예측을 보여준다. 이것은 Pred-to-iter-2가 실제로 cell의 형태학과 tissue 맥락을 모두 고려하는 반면, Cell-only는 세포의 형태학에만 의존한다는것을 의미한다.

Conclusion

• 조직 병리학에는 계층적 조직과 cell과 tissue간의 상호관계가 있음
• 이러한 상호관계는 cell detection task에서 성능을 개선시킬 수 있음
• 이 논문을 통해, 이러한 cell-tissue 관계가 여러 설정에 걸쳐 존재한다는것을 증명함
• 실제로, 간단한 모델을 설계해 multi-tasking 학습 접근법에서 cell 주석과 함께 해당 tissue 주석이 있는 large FoV를 활용할때 개선사항을 관찰함
• 비록 cell detection task는 multi-tasking 학습 프레임워크의 이점을 분명이 누리지만, tissue segmentation task에 대한 개선은 아직 연구되지 않아 이는 추후 해결 방안임