「MEDIASTINAL LYMPH NODES SEGMENTATION USING 3D CONVOLUTIONAL NEURAL NETWORK ENSEMBLES AND ANATOMICAL PRIORS GUIDING」
segmentation : 사진 내에서 원하는 부분을 분할하는 작업
이 논문은 3D 복부 CT에서 림프절을 segmentation하는 방식에 대해 설명하였습니다. 모델에서 소개한 segmentation 방식은 총 세 가지 입니다.
1. slab-wise 방식: 일정 크기로 3D 볼륨을 잘라 부분부분 segmentation을 진행합니다.
2. 3D 볼륨 전체를 down-sampling하여 입력합니다.
3. 1번과 2번을 모두 진행한 후, 앙상블 기법을 사용하여 최종 segmentation을 진행합니다.
결론적으로는, 3번처럼 앙상블 기법을 이용하여 segmentation을 한 것이 가장 좋은 성능을 보였습니다. low-resolution을 갖는 임파절을 제대로 segmentation하기 위해선, 해당 임파절 근처의 기관들이 뭐가 있는지 모델에게 정보를 주면 더욱 좋은 성능을 보입니다.
1. 논문의 목적
이 논문은 3D 복부 CT에서 임파절을 segmentation하는 방식에 대해 설명합니다. 그렇다면, 왜 임파절을 segmentation할까요?
폐암이 걸렸을 때, 암이 폐에서 임파절로 가장 많이 전이가 됩니다. 그래서, 폐암 환자의 경우 임상의가 정기적으로 임파절을 직접 수동으로 그려서 분할한 후, 암의 전이도를 평가한다고 합니다. 이 과정을 줄이기 위해, 임파절을 자동으로 segmentation하는 모델을 작성하게 되었습니다.
2. 연구 방법
1) 데이터 전처리
사진처럼 slab-wise는 하나의 3D 볼륨을 일정 크기로 잘라 학습시키는 방식이고, FV는 전체 볼륨의 resolution을 줄인 후, 학습시키는 방법입니다. 이제 이 두 방법에 대해 자세히 살펴보겠습니다.
※세부 연구에 들어가기 전, 모든 CT volume은 밑 단계를 사용하여 전처리되었습니다.
(i) Nibel 라이브러리 내부 spline interpolation 사용하여 등방성 간격(보는 방향에 따라 영상이 변하지 않을 만큼의 간격)으로 resampling 한다.
(ii) pre-trained된 모델을 사용하여 3D CT에서 폐 자름
(iii) spline interpolation 사용하여, network의 input resolution으로 resize
(iv) [-250,500]인 HU값을 [0,1]로 정규화
① slab-wise training 방식
본 논문에서는 여러 차례 슬래브 별 조사를 한 후, 최종적으로 32개의 슬라이스와 64개의 슬라이스 슬래브를 선택하였습니다. 이 때, axial 기준 CT영상 크기는 256x192가 됩니다. 쉽게 설명하면, 256x192 크기를 가지는 CT 영상을 32개 또는 64개씩 묶어 3D 영상을 만듭니다.
32개의 슬라이스씩 잘라서 슬래브 데이터를 만들 때, stride를 8로 주어 8개의 슬라이드 마다 32개씩 자르도록 하였습니다. 예를 들어, 40개의 CT가 있다면, 1번부터 32번 , 8번부터 40번 이렇게 총 두 개의 슬래브 데이터를 만들어 학습에 사용합니다. 이 stride값은 연구 당시 데이터 일반화를 잘 하고, 과적합을 피할 수 있는 절충안을 경험적으로 뽑아내었습니다.
② 전체 volume down-sampling방식
GPU 메모리의 제한이 있기 때문에, volume의 사이즈를 줄이지 않고, 학습시키기 불가능합니다. 그래서, 논문에서는 최대 512x512x864 크기의 volume을 128x128x144로 down-sampling하였습니다.
2) 모델
위에서 전처리한 데이터를 segmentation하는 모델은 3D U-Net, Attention-gated U-Net(AGUNet) , dual attention guided U-Net(DAGUNet) 이렇게 세 개를 사용하였습니다.
slab-wise 방식으로 하나의 모델을 train하는데 평균 12일이 소요되었습니다. 그래서, 이 slab-wise 연구는 Unet-SW32 접근법을 소개하는 정도로 마무리하였습니다.
위에서 전처리한 데이터를 segmentation하는 모델은 3D U-Net, Attention-gated U-Net(AGUNet) , dual attention guided U-Net(DAGUNet) 이렇게 세 개를 사용하였습니다.
slab-wise 방식으로 하나의 모델을 train하는데 평균 12일이 소요되었습니다. 그래서, 이 slab-wise 연구는 Unet-SW32 접근법을 소개하는 정도로 마무리하였습니다.
3. 연구 결과
Dice score 기준으로는 UNet-SW32(32 사이즈로 slab-wise한 후, 기본 Unet으로 학습시킨 모델)과 AGUNet-FV(전체 volume을 down-sampling한 후, AGUNet으로 학습시킨 모델)이 가장 성능이 좋았습니다.
※ 위 표에서 APG는 임파절 근처 기관들의 정보를 모델에게 제공해 주면서 segmentatiaon을 학습시킨 방식입니다.
4. 결론
림프절은 뼈처럼 CT에서 high resolution을 가지는 기관이 아니기 때문에 높은 성능으로 segmentation하기 어렵습니다. 그래서, 임파절인데 segmentation이 안되는 것을 방지하기 위해, 모든 의심스러운 영역들을 림프절로 표시하도록 만들었습니다.
slab-wise 방식으로 5 fold validation을 수행하는데 약 60일이 걸립니다. 전체 볼륨을 down-sampling하여 입력해서 훈련된 모델과 slab-wise 방식으로 데이터를 만들어 훈련한 모델의 성능이 비슷하기 때문에, 논문에선 후자의 방식을 추천하고 있습니다.
논문 URL : https://arxiv.org/abs/2102.06515