深度學習加快了3D微觀神經成像的速度

　　德克薩斯州奧斯汀和圣地亞哥Salk研究所的研究人員使用深度學習技術，開發了一種新的顯微方法，可以使用于大腦成像的顯微技術快16倍。研究人員使用德克薩斯大學奧斯汀分校（UT Austin）德克薩斯高級計算中心（TACC）的數據訓練了他們的深度學習系統。索爾克生物學研究所Waitt先進生物光子學核心設備的負責人Uri Manor認為，深度學習可用于提高顯微圖像的分辨率，類似于用于提高衛星和MRI圖像分辨率的方法。他與圖像分析專家Linjing Fang共同開發了一種使用圖形處理單元（GPU）來加快顯微圖像處理速度的方法。

　　Manor與UT奧斯汀分校的Kristen Harris教授合作，為深度學習培訓開發了大量數據。他使用德克薩斯高級計算中心的Maverick超級計算機，創建了高分辨率顯微圖像的低分辨率類似物，并在這些圖像上訓練了深度學習網絡。他最初創建低分辨率圖像的超分辨率版本的嘗試均未成功。曼諾說：“當我們嘗試在比低分辨率訓練數據大得多的真實、低分辨率數據上測試系統時，網絡效果不佳。”Manor和Fang一直在通過計算降低訓練對圖像的分辨率，但是它們的圖像仍然不夠低。他們正在使用一種稱為生成對抗網絡（GAN）的深度學習架構。

　　Fast.ai的創始人Jeremy Howard和來自Wicklow AI Medical Research Initiative（WAMRI.ai）的Fred Monroe來到Salk尋找可以從深度學習中受益的研究問題。霍華德和門羅向Manor及其小組建議，他們要添加一些模糊和不同種類的噪點，以使其圖像真正劣質。Salk研究人員將其圖像變得劣質，直到它們看上去與在“真實世界”條件下獲取的低分辨率圖像相似（在某些情況下更差）。在Howard和Monroe的建議下，Salk團隊還從GAN切換到U-Net架構，該團隊發現該架構更易于訓練，并且在消除噪音方面更勝一籌。Manor使用新的圖像和深度學習架構對他的人工智能（AI）系統進行了重新訓練，發現他的系統可以創建高分辨率圖像，該圖像與最初以更大的放大倍率創建的圖像非常相似。此外，訓練有素的專家能夠在原始圖像中無法檢測到的低分辨率樣本的老版本中找到腦細胞特征。

一張并排顯示的電子顯微圖像，由Salk研究所提供。

　　研究人員將他們的方法應用于在其他實驗室中使用不同的顯微鏡和制劑制作的圖像，從而對系統進行測試。“通常在深度學習中，您必須為不同的數據集重新訓練和微調模型，” Manor說。“我們很高興我們的系統能夠很好地適用于各種樣本和圖像集。”成功的意思是可以對樣本進行成像而不會造成損壞的風險，并且它們的獲取速度至少是傳統方法的16倍。“以全分辨率對整個大腦成像可能需要一百多年，” Manor說。“通過將吞吐量提高16倍，它可能會變成10年，這更加實用。”

　　根據Manor所說，他的小組培訓模型快速且易于使用。任何想要使用該工具的人都將很快能夠登錄3DEM.org，這是一個由國家科學基金會支持的基于Web的研究平臺，用于開發和傳播用于增強分辨率顯微的新技術。Salk研究人員已通過GitHub提供了其工具的代碼。Manor希望開發可以即時進行圖像重建的軟件，以便研究人員可以立即看到超分辨率圖像，而不是在后處理過程中看到。他相信，通過他的工具，有可能改善世界各地實驗室已使用的數百萬個顯微鏡的性能，并有可能利用AI功能構建新的顯微鏡。

　　有了概念驗證設計，Manor和他的團隊開發了一種可以促進神經科學的工具。但是，如果沒有與Harris，Howard，Monroe和TACC進行偶然的合作，他的工具可能永遠無法實現。“您需要讓專家愿意與來自世界各地的人們一起努力，以實現某些目標，” Manor說。 “我能夠與所有這些世界一流的隊友進行交流，我感到非常幸運。”