發布時間：2022-04-20所屬分類：醫學論文瀏覽：1次
摘 要： 摘 要：胎肺發育不良常在胎兒出生時引發嚴重的呼吸窘迫，甚至造成新生兒死亡.胎肺容積測量是臨床上無創評估肺成熟度的一項重要手段，但現有的胎肺容積測量方法不僅誤差大，繁瑣耗時且臨床實用性差.本研究基于3D-nnUnet首次提出一種高效穩定的胎肺自動分割和測量方法，
摘 要：胎肺發育不良常在胎兒出生時引發嚴重的呼吸窘迫，甚至造成新生兒死亡.胎肺容積測量是臨床上無創評估肺成熟度的一項重要手段，但現有的胎肺容積測量方法不僅誤差大，繁瑣耗時且臨床實用性差.本研究基于3D-nnUnet首次提出一種高效穩定的胎肺自動分割和測量方法，利用網絡對胎肺數據的自適應，有效克服圖像組織對比度低和邊緣模糊問題，實現了三維超聲胎肺的精確分割.此外，針對胎肺超聲圖像在不同孕周差異大、樣本數分布極不均衡的問題，提出利用HMEP(hard-mining and easy-penalized)損失來提升模型的泛化能力和穩定性.與二維最優分割網絡DeepLab V3+和3D-Unet分割結果相比，基于 3D-nnUnet的分割網絡性能最佳，分割準確率高達85. 7%;HMEP Loss能夠使3D-nnUnet模型專注地學習少數困難樣本，將分割準確率提升近2%;分割模型在不同孕周的數據上所測得胎肺容積和醫生手動勾畫的胎肺容積經一致性檢驗無顯著的統計學差異.實驗結果表明：該方法可高效實現三維超聲胎肺的自動精確分割和容積測量，具有良好的穩定性和泛化能力，可避免以往胎肺容積測量方法繁瑣耗時、誤差較大的問題，在診斷胎肺發育狀況及評估肺成熟度方面有較好的應用前景.
關鍵詞：人工智能;胎肺成熟度;三維超聲;語義分割;深度學習;網絡自適應;醫學影像
胎肺發育不良是一種常見的新生兒呼吸道疾病 ， 新 生 兒 發 病 率 約 0. 11%， 但 致 死 率 高 達 70%[1].準確評估產前胎肺發育的成熟度，可有效避免胎肺發育不良的發生，對降低新生兒的病死率有重要意義.
傳統評估胎肺成熟度的方法有羊水振蕩實驗、泡沫穩定實驗、磷脂成分檢測等[2-3].但這些方法均要做羊膜腔穿刺，不僅費時費力，還存在一定風險，患者接受度較低.在臨床上，超聲檢測是胎兒生長狀況測量和評估的主要手段，具備簡單、快速、無創、可重復的特點.目前應用超聲指標評估胎肺成熟度已受到越來越多臨床醫生的重視.
近年來采用超聲評估胎肺成熟度的方法主要有二維超聲測量和三維超聲測量.二維超聲測量方法主要測量胸圍、肺的面積、肺動脈內徑、胸圍/腹圍、胎肺面積/頭圍等指標[4-5].但當孕婦患有妊娠糖尿病或胎兒本身存在異常時，二維超聲測量方法對胎肺成熟度的評估會受到一定限制.三維超聲測量方法主要測量胎肺容積.研究認為用二維超聲測量方法評估胎肺成熟度的敏感性和準確性較三維的方法低，如 VERGANI 等[6]分別使用三維超聲和二維超聲測量值進行胎肺成熟度評估，結果顯示使用三維超聲測量值進行胎肺成熟度評估更可靠，在特異性和敏感性上更具有優勢.
目前常用的三維超聲胎肺容積測量方法包括平行切面法[7]和虛擬器官計算機輔助分析(virtual or⁃ gan computer-aided analysis，VOCAL)[8].平行切面法通過逐層手動勾畫出肺邊界來計算胎肺容積， VOCAL 是一種三維超聲體積自動測量技術，通過轉角位從不同角度來手動勾畫胎肺邊界以測算胎肺容積.研究顯示兩者均可測量正�；蛘甙l育不良的胎肺，但VOCAL 的準確性較高，重復性較平行切面法稍差[9].然而，兩種方法在臨床使用時，都會受到操作者經驗的影響，易產生假陰性或假陽性[10]，且三維數據的勾畫相對繁瑣和耗時，臨床實用性差.因此，三維超聲胎肺容積測量急需精確高效的自動分割和測量方法的探索.
近年來深度學習在醫學影像領域得到了廣泛的應用，令三維超聲圖像自動分割技術飛速發展. YANG等[11]使用基于三維的卷積神經網絡從胎兒超聲體數據中自動分割出了胎兒、妊娠囊和胎盤，實現了更準確和快速的分割.YANG等[12]提出了一種結合渲染式對比學習和半監督學習的三維分割算法框架，解決了小樣本標注和邊緣模糊問題，實現了三維超聲影像中的卵巢和卵泡的精確分割.總之，應用深度學習進行胎肺三維分割的可行性強，且前景廣闊.
然而，胎肺三維超聲圖像質量較差，這為胎肺精確分割帶來了挑戰.圖1給出了胎肺三維超聲圖像，藍色線區域為醫生手動勾畫的右肺，紅色線區域為醫生手動勾畫的左肺.圖1展示了當前面臨的精確分割的主要困難有：① 胎肺與周圍組織的對比度小，難以精確區分胎肺區域，見圖 1(a);② 胎肺邊緣模糊，難以精確分割，見圖1(b);③ 不同孕周胎肺大小變化大，增加了分割模型的學習難度，見圖 1(b)與圖 1(c)，圖 1(b)為 16 周的胎肺，圖 1(c)為 25 周的胎肺;④ 圖像存在陰影和遮擋，會對分割模型造成干擾，見圖1(d)，其中橙色箭頭指示胎肺圖像存在其他組織遮擋，綠色箭頭處指示圖像存在陰影.
針對上述問題，本研究基于3D-nnUnet[13]首次提出一種對胎肺三維超聲圖像進行自動精確分割容積測量的方法，主要貢獻可總結為：① 首次從不同孕周的三維超聲胎肺容積圖像中高效穩定地精確分割出胎肺，填補了臨床三維胎肺精確分割方法的空白.② 采用網絡動態自適應模塊自動生成最適合于胎肺三維數據的網絡配置，有效克服了胎肺圖像組織對比度低和邊緣模糊的問題，提升了分割精度.③ 創新性地提出簡單樣本懲罰(hard-mining and easy-penalized，HMEP)損失，通過關注困難樣本、減少簡單樣本影響的方法解決胎肺超聲圖像在不同孕周差異大、樣本分布極不均衡導致分割模型泛化能力差的問題，進一步提升了分割精度，也為分割任務中正負樣本強烈不平衡的場景提供解決方案.④ 能夠做到對胎肺容積的自動準確測量，其自動測量結果與醫生手動勾畫結果經檢驗無顯著性差異，可提高臨床三維胎肺容積測量的效率與準確度，為進一步的胎肺成熟度評估提供有力依據.
1 三維超聲胎肺自動分割方法
本研究提出的胎肺三維超聲自動分割與容積計算框架如圖2，包含預處理、網絡自適應、網絡訓練和測試，以及后處理 4 個步驟.在預處理階段，對數據進行裁剪、重采樣、標準化和多種數據增強.在網絡自適應階段，根據數據大小選擇最合適的patch尺寸，生成兩種動態網絡配置.在網絡訓練和測試階段，先采用五折交叉驗證對生成的兩種網絡分別進行訓練，通過驗證集選擇表現最佳的網絡配置;在測試時，對得到的最佳網絡進行多模型集成推理，獲取自動分割的預測圖像.在后處理階段，通過保留兩個最大連通域得到最終的分割圖像并計算預測胎肺容積.
1. 1 網絡動態自適應模塊
三維超聲圖像尺寸巨大且大小不一，這對圖像的特征學習和計算機性能要求帶來巨大挑戰.為保證有效利用有限的計算資源，傳統的解決方法有： ① 設計合適的 patch 尺寸并基于 patch 進行圖像分割，這樣可以固定網絡輸入，但會損失大量的上下文信息，造成分割結果不連續和出現偽影現象. ② 將圖像統一縮放至較小尺寸來固定網絡輸入，但這樣會降低圖像質量，損失許多細節信息，以至于無法得到較好的精細化分割結果.為避免以上問題，本研究提出網絡動態自適應模塊，根據現有計算條件選擇合適的patch尺寸，生成相應的網絡配置.主要設計思路是：根據胎肺三維超聲預處理后圖像的實際大小，選擇適合所用圖形處理器(graph⁃ ics processing unit，GPU)顯存的patch尺寸，并由此得到分割時網絡下采樣的次數K和卷積層總數5K + 2.這樣就可以使網絡結構自動適應輸入patch尺寸與空間，確保網絡能接受的區域大小覆蓋整個輸入.選擇合適的patch尺寸的過程如圖3.
1. 2 分割網絡設計
胎肺數據在不同孕周大小差異巨大，因此對分割網絡的適應能力也不同.為找到適應不同孕周數據的分割網絡，本研究基于3D-nnUnet設計了兩個獨立網絡：① FRUnet(full resolution Unet)：網絡在全像素數據上運行，基于patch尺寸直接進行精細化分割;② CUnet(cascade Unet)：專門為胎肺數據中較大的體數據設計，先在低分辨率圖像上得到粗分割結果，在此基礎上再進行細分割，進行細節的補充和調整.這兩種網絡架構都適合胎肺三維超聲數據，故本研究同時對這兩種網絡進行訓練，根據交叉驗證結果自動選擇一個表現更好的網絡配置.本研究設計的胎肺分割網絡框架如圖4.胎肺三維超聲圖像以 patch 為單位，在 FRUnet 和 CUnet 網絡模塊中進行特征學習.FRUnet 模塊由 1 個 3D UNet[14]組成，CUnet模塊由2個3D UNet級聯組成. 3D UNet網絡下采樣結構中采樣次數K與卷積層的總數由patch尺寸決定.每個patch通過K次下采樣快速聚合上下文信息，一直下采樣到特征圖達到最小體素(4 × 4 × 4).每次下采樣操作進行2次卷積 —標準化—激活函數的操作.每次上采樣均通過轉置卷積實現.其中，下采樣每個尺寸的特征圖均通過跳躍連接與上采樣得到的相應尺寸的特征圖進行融合.
1. 3 損失函數設計
損失函數關系著網絡的學習和收斂，對網絡的性能起著關鍵作用.在三維分割中最常用的損失函數為骰子損失(dice loss)[15]，用來衡量預測圖和金標準兩者間的重疊程度，可較好地解決分割任務中正負樣本強烈不平衡(前景區域較小)的問題.但實際上，dice損失在訓練過程中更側重對前景區域的挖掘，在小目標情況下容易不穩定，對困難樣本
和不均衡的樣本關注度不夠.對于分割困難樣本的學習，焦點損失(focal loss)[16]通過調節簡單樣本權重降低的速率，加強網絡對困難樣本的關注度.TopK 損失(TopK loss)[17]通過強迫網絡在訓練過程中關注少數困難樣本，使模型在學習的過程中可以更好地專注于復雜不均衡樣本.兩者都沒有過多關注樣本前景區域.
本研究針對胎肺數據在不同孕周胎肺圖像差異大和樣本數量在不同孕周分布極其不均衡的問題，融合 dice 損失、focal 損失和 TopK 損失的優勢，創新 性 地 提 出 HMEP 損 失(hard-mining and easypenalized loss)與EP損失(easy-penalized loss)，使網絡在保證對前景區域足夠挖掘的基礎上，加強對困難樣本和不均衡樣本的關注，進一步提升網絡的學習能力.HMEP損失是dice損失、focal損失和TopK 損失的復合損失函數，即
2 實 驗
2. 1 數據采集
實驗數據采集自深圳市福田婦幼保健院超聲科，所用的超聲設備型號為GE e8、GE e10和三星 Ws 80，使用三維容積探頭共采集到 325 個胎肺三維超聲數據.經產科專家納入排除，均確認為正常胎肺數據.所有數據由 6 位中高年資醫生(臨床經驗6 ~ 10 a)在橫斷面上逐幀精確標注左右兩個胎肺輪廓，并由2位高年資醫生(臨床經驗> 10 a)進行嚴格核查修改.在本研究中，290個三維數據及其標注用于實驗，35個數據用于獨立測試.實驗數據涵蓋16 ~ 40孕周，其分布如圖5.用于分割的二維數據和分割標注是由三維數據及其標注在橫斷面上切分出來的，實驗數據集規模與劃分如表1.
2. 2 數據預處理
在本研究中，用于胎肺二維分割實驗的圖像統一經過中心裁剪并縮放至448 × 448像素，再經過標準化處理(圖像的像素矩陣減去均值并除以其標準差).在 3D-Unet 分割實驗中，用于胎肺三維分割實驗的三維圖像經過中心裁剪并縮放至 256 × 256 × 256 體像素，訓練集通過隨機裁剪進行數據增強.在3D-nnUnet分割實驗中，先利用三維圖像的標簽尋找一個最小的三維邊界框，裁剪掉與三維圖像無關區域.之后為保持三維圖像中單個體素所代表的實際空間大小一致，在確定重采樣的目標空間大小后，根據目標空間確定每個三維圖像的目標尺寸，并對三維圖像尺寸進行調整.最后，對每個三維胎肺圖像利用自身均值和標準差進行標準化.
2. 3 網絡設置
本研究將提出的三維分割網絡與常用的二維和三維分割網絡進行對比.所用二維分割網絡包括： ① FCN[18]：采用 FCN-8s，通過反卷積將特征圖恢復 到 原 圖 大 小 ， 其 骨 干 網 絡 為 VGG-16. ② Unet[19]：通過跳躍連接將下采樣提取的不同尺度胎肺特征圖像依次融入上采樣過程.③ PSPN[20]：利用金字塔池化在不同層次上融合提取到的胎肺特征，其骨干網絡為 ResNet-34.④ DeeplabV3+ [21]：應用膨脹卷積和深度可分離卷積，將空間金字塔池化和編碼解碼操作融合成一體.其骨干網絡為 ResNet-101.進行三維分割對比實驗的是3D-Unet，保留二維 Unet 原有模塊結構，將三維卷積算子替換為原來的二維算子.
所有分割網絡均使用Adam優化器，初始學習率為1 × 10-4 ，權重衰減因子為0. 01.所有網絡均基于PyTorch學習框架，操作系統為Linux，在兩塊型號為NVIDIA GTX3060Ti的GPU上進行訓練.考慮到胎肺數據在不同孕周分布極不平衡，在二維分割實驗中采用focal損失，其中γ = 2.在三維分割實驗中，采用EP損失與HMEP loss 作為損失函數.
2. 5 優化與后處理
為得到二維胎肺分割的最優結果，針對胎肺圖像邊緣模糊與圖像對比度差的問題，本研究提出3 種優化策略：① 上采樣增加邊緣分支，使網絡在反傳時能夠學習到更多胎肺邊緣信息，增強網絡對胎肺邊緣的約束.② 測試時增強(test time augmen⁃ tation，TTA)，在二維分割模型推理測試階段，將原始測試圖像進行水平翻轉等數據增強，再對推理的多個結果進行綜合得到平均輸出作為最終分割結果.③ 邊緣優化+TTA，即將前兩種方法綜合起來同時使用.在三維分割實驗中，針對過分割的問題，本研究采用保留最大兩個連通區域以去除分割結果中的冗余組織，提升三維胎肺分割效果.
3 實驗結果及分析
3. 1 二維分割對比實驗結果及優化分析
為探究在二維胎肺圖像中可達到的最佳分割效果，本研究進行了二維分割對比實驗.表2為二維分割實驗中，分別采用FCN、Unet、PSPN和DeepLab V3+ 4種網絡在測試集上的分割結果，以及分割效果表現最好的DeepLab V3+網絡使用不同優化方法后的分割結果.由表 2 可見，DeepLab V3+的分割性能最佳，其分割的DSC可達82. 5%，能夠比較準確地分割出胎肺.采用邊緣優化與TTA相結合的優化方法能使DeepLab V3+網絡的DSC達83. 2%，提升 0. 7%，IoU 可達 71. 2%，HD 指標減至 6. 325 mm，表明該優化方法進一步提高了網絡對胎肺的分割準確率.
由表2可知，二維網絡分割出胎肺的平均DSC 超過80%，平均IoU超過69%，平均HD小于7 mm，說明采用二維網絡分割胎肺的方法雖然可行，但離精確分割還有一定差距.實際上，二維分割忽略了胎肺的空間信息，不能學到胎肺在空間中的連續性，這是二維分割胎肺方法的固有局限，也是導致二維分割胎肺不精準的最大原因.
圖 6 定性展示了不同二維分割網絡分割結果.其中，圖6(a)為二維B超原圖;圖6(b)為醫生的手工標注結果(金標準);圖 6(c)—(f)依次為采用 FCN、Unet、PSPN 和 DeepLab V3+網絡的分割結果.由圖6可見，FCN網絡分割效果最差;Unet與 PSPN網絡次之，分割結果不夠精細;DeepLab V3+ 網絡既能較完整地分割出胎肺，亦能保證分割出的胎肺邊緣比較精細，更貼近人工標注的水準，分割效果最好.
3. 2 三維分割結果及優化分析
表3記錄了3D-Unet和3D-nnUnet兩種三維分割網絡采用不同的損失函數時，在測試集上獲得的性能指標和平均分割時間，同時記錄了分割結果經后處理優化前后網絡的分割性能指標.結果表明，當兩種網絡均采用 dice 損失時，3D-nnUnet 網絡的各項分割性能均明顯優于3D-Unet網絡，分割后DSC 達 85. 3%，IoU 達 74. 4%，HD 達 5. 882 mm，高于二維分割實驗中DeepLab V3+網絡達到的最佳分割性能，可見采用三維網絡分割胎肺的方法優于二維網絡的分割方法.采用HMEP 損失的3D-nnUnet網絡的分割性能要優于使用 dice 損失與 EP 損失，其 DSC達85. 3%，提升了1. 8%.對比4種網絡分割方法所用時間發現，3D-Unet 采用dice 損失分割胎肺的平均時間約為1. 4 s;3D-nnUnet分別采用dice損失、EP 損失和 HMEP 損失分割胎肺的時間相差無幾，平均用時均接近2. 6 s.可見，3D-Unet網絡在分割效率上略高于3D-nnUnet網絡，而采用何種損失函數對于 3D-nnUnet 模型的分割效率幾乎無影響.——論文作者：王琳1 ，曹艷2 ，鄧子微2 ，胡炯通2 ，梁嘉敏2 ，曹曉焱1 ，潘文雄1 ，嚴玉玲1 ，孫志偉1 ，楊鑫2 ，倪東2
本文來源于：《深圳大學學報理工版》(雙月刊)1984年12月創刊，在反映深圳大學理工類教學科研的最新成果及深圳高新技術發展成就，促進省內外學術交流。
SCISSCIAHCI
