딥러닝으로 참조 가능

Nature Communications 13권, 기사 번호: 3297(2022) 이 기사 인용

7567 액세스

5 인용

37 알트메트릭

측정항목 세부정보

형광 현미경에 의한 체적 이미징은 종종 축 해상도가 측면 해상도보다 열등한 이방성 공간 해상도에 의해 제한됩니다. 이 문제를 해결하기 위해 우리는 체적형광현미경에서 이방성 이미지를 향상시키는 딥러닝 기반 비지도 초해상도 기술을 제시합니다. 일치하는 고해상도 대상 이미지가 필요한 기존 딥러닝 접근 방식과 달리, 우리의 방법은 이미지 형성에 대한 사전 지식 없이 네트워크 훈련에 단일 3D 이미지 스택만 필요하므로 실제로 적용되는 노력을 크게 줄입니다. 학습 데이터를 등록하거나 타겟 데이터를 별도로 획득할 수 있습니다. 이는 측면 이미지 평면의 고해상도 2D 이미지와 다른 평면의 저해상도 2D 이미지 간의 짝이 없는 매칭을 통해 학습하는 최적의 전송 중심 주기 일치 생성적 적대 네트워크를 기반으로 달성됩니다. 형광 공초점 현미경과 광시트 현미경을 사용하여 우리는 훈련된 네트워크가 축 해상도를 향상시킬 뿐만 아니라 이미징 평면 사이에 억제된 시각적 세부 정보를 복원하고 이미징 아티팩트를 제거한다는 것을 보여줍니다.

3차원(3D) 형광 이미징은 일반적으로 2차원(2D) 이미지에서는 얻을 수 없는 생물학적 샘플에 대한 중요한 구조 정보를 보여줍니다. 조직 제거 방법1,2,3,4,5 및 광시트형광현미경(LSFM)6,7,8,9의 최근 발전으로 전례 없는 규모와 속도, 때로는 더 미세한 조직에서도 생물학적 조직의 간소화된 3D 시각화가 가능해졌습니다. 세부. 그럼에도 불구하고 3D 형광 현미경의 공간 분해능은 아직 완벽함과는 거리가 멀습니다. 등방성 해상도는 여전히 달성하기 어렵습니다.

형광 현미경 검사법의 이방성은 일반적으로 축 이미징 평면에서 더 흐릿함을 나타냅니다. 이러한 해상도의 공간적 불균형은 빛의 회절, 축 언더샘플링, 수차 보정 정도를 비롯한 여러 요인에 기인할 수 있습니다. 3D 구조 조명 현미경(3D-SIM)11,12 또는 유도 방출 고갈(STED) 현미경13과 같이 본질적으로 광 회절 한계를 초과하는 초해상도 현미경10의 경우에도 축 해상도를 측면 해상도에 일치시키는 것은 여전히 도전14. 형광 여기 경로가 반드시 검출 경로와 일치하지 않는 LSFM은 축 해상도를 크게 향상시키지만9 대부분의 최신 광시트 현미경 기술로는 진정한 등방성 점 확산 함수(PSF)를 달성하기 어렵습니다. 축 해상도는 일반적으로 측면 해상도보다 2~3배 더 나쁩니다.

최근 형광 현미경의 이미지 복원에서 딥러닝은 기존의 디콘볼루션 알고리즘을 대체하는 데이터 기반 접근 방식으로 등장했습니다. 딥 러닝은 이미지 매핑의 통계적 복잡성을 포착하고 수동으로 매개변수를 힘들게 미세 조정하지 않고도 엔드투엔드 이미지 변환을 가능하게 하는 장점이 있습니다. 몇 가지 예로는 등방성19,20 또는 더 적은 소음19을 향해 다양한 이미징 방식과 개구수 크기18에 걸쳐 해상도를 개선하는 것이 포함됩니다. 이러한 방법은 현미경 작업에 어느 정도 유연성을 제공하지만 이러한 딥러닝 기반 방법은 네트워크 훈련을 위해 대상 데이터 도메인에 대한 일부 지식을 가정해야 합니다. 예를 들어 등방성 재구성의 경우 Weigert et al19,20. 명시적 PSF 모델로 흐려진 저해상도 축 이미지와 고해상도 측면 이미지를 페어링하는 지도 학습 전략을 사용했습니다. 장 외21. 현미경에서 가져온 이미지 저하 모델을 사용하여 GAN 기반 초해상도 기술을 구현했습니다. 두 경우 모두 이미지 저하 프로세스는 동적으로 학습할 수 없으며 고정된 이미지 저하 프로세스에 대한 이러한 가정은 사전 정확도에 의존하는 이미지 복원의 성공을 요구하고 현미경 전문가에게 또 다른 작업 계층을 추가합니다. 또한, 영상 저하에 대한 초기 가정이 올바르지 않으면 실제 데이터 세트의 성능이 제한될 수 있습니다. 특히 처리량이 많은 체적 형광 이미징의 경우 이미징 조건이 종종 변동될 수 있으며 샘플의 시각적 특성이 다양하다고 간주됩니다. 결과적으로, 대규모 볼륨 이미지 전반에 걸쳐 사전 정보를 균일하게 가정하면 훈련된 모델이 과도하게 피팅되어 이미지 복원의 성능과 신뢰성이 악화될 수 있습니다.