【儀表網(wǎng) 儀表研發(fā)】近年來，以深度學(xué)習(xí)為代表的計算超分辨方法可在不損失其他成像性能的前提下，提升顯微圖像分辨率或信噪比，表現(xiàn)出廣闊的應(yīng)用前景。然而，針對生物醫(yī)學(xué)研究必需高保真度、可定量分析的圖像要求，深度學(xué)習(xí)顯微成像方法存在三大共性問題：受限于深度學(xué)習(xí)內(nèi)秉的頻譜頻移(spectral-bias)問題，輸出圖像分辨率無法達(dá)到真值(ground truth)水平；受限于超分辨重建、去噪問題的病態(tài)性(ill-posed problem)和神經(jīng)網(wǎng)絡(luò)模型的不確定性(model-uncertainty)，重建或預(yù)測結(jié)果的真實性無法得到保障；深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要大量數(shù)據(jù)，但高質(zhì)量訓(xùn)練數(shù)據(jù)的采集在許多應(yīng)用場景下極其困難、甚至無法實現(xiàn)。當(dāng)前，深度學(xué)習(xí)顯微成像方法的研究和發(fā)展如火如荼，并表現(xiàn)出超越傳統(tǒng)成像性能極限的潛力，但上述問題阻礙了現(xiàn)有深度學(xué)習(xí)超分辨或去噪方法在生物顯微成像實驗中的使用。
 

　　10月6日，中國科學(xué)院生物物理研究所李棟課題組聯(lián)合清華大學(xué)自動化系、清華大學(xué)腦與認(rèn)知科學(xué)研究院、清華-IDG/麥戈文腦科學(xué)研究院戴瓊海課題組，美國霍華德休斯醫(yī)學(xué)研究所博士Jennifer Lippincott-Schwartz，在Nature Biotechnology上，以長文(Article)的形式，發(fā)表了題為Rationalized deep learning super-resolution microscopy for sustained live imaging of rapid subcellular processes的論文。該研究提出了一套合理化深度學(xué)習(xí)(rationalized deep learning，rDL)顯微成像技術(shù)框架，將光學(xué)成像模型及物理先驗與神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計相融合，合理化網(wǎng)絡(luò)訓(xùn)練、預(yù)測過程，從而實現(xiàn)了高性能、高保真的顯微圖像去噪與超分辨重建，并結(jié)合實驗室自主研發(fā)、搭建的多模態(tài)結(jié)構(gòu)光照明顯微鏡(Multi-SIM)與高速晶格光片顯微鏡(LLSM)，將傳統(tǒng)TIRF/GI-SIM、3D-SIM、LLS-SIM和LLSM的成像速度/時程提升30倍以上，實現(xiàn)了當(dāng)前國際最快(684Hz)、成像時程最長(最長可達(dá)3小時、60,000時間點以上)的活體細(xì)胞成像性能，首次對高速擺動纖毛(>30Hz)中轉(zhuǎn)運蛋白(IFT)的多種運輸行為以及完整細(xì)胞分裂過程中核仁液液相分離(liquid-liquid phase separation)過程進(jìn)行快速、多色、長時程、超分辨觀測。Nature Biotechnology針對這一工作同時發(fā)表了評述文章(Research Briefing)。
 

　　具體而言，李棟/戴瓊海研究團(tuán)隊提出的合理化深度學(xué)習(xí)結(jié)構(gòu)光超分辨重建架構(gòu)(rDL SIM)不同于現(xiàn)有超分辨神經(jīng)網(wǎng)絡(luò)模型的端到端(end-to-end)訓(xùn)練模式，而是采用分步重建策略，首先利用所提出的融合成像物理模型和結(jié)構(gòu)光照明先驗的神經(jīng)網(wǎng)絡(luò)對原始SIM圖像進(jìn)行去噪和高頻信息增強，然后通過經(jīng)典解析算法進(jìn)行SIM重建以獲得最終的超分辨圖像。相比于該團(tuán)隊去年在Nature Methods上提出的超分辨重建神經(jīng)網(wǎng)絡(luò)模型DFCAN/DFGAN，rDL SIM可將超分辨重建結(jié)果的不確定性降低3~5倍，并實現(xiàn)更高的保真度和重建質(zhì)量；相比于其他去噪算法(如CARE)，rDL SIM可恢復(fù)出調(diào)制在原始圖像中的莫爾條紋，并將高頻信息增強10倍以上。
 

　　此外，針對晶格光片顯微鏡、共聚焦顯微鏡等寬場照明或點掃描成像模態(tài)，該團(tuán)隊提出了一種可學(xué)習(xí)的傅立葉域噪聲抑制模塊(FNSM)。該模塊可以利用OTF信息對顯微圖像中的噪聲進(jìn)行自適應(yīng)濾除。科研團(tuán)隊以此構(gòu)建了嵌入FNSM的通道注意力去噪神經(jīng)網(wǎng)絡(luò)架構(gòu)，并基于顯微成像數(shù)據(jù)本身的時空連續(xù)性，提出了時空交織采樣自監(jiān)督訓(xùn)練策略(TiS/SiS-rDL)。該策略無需額外采集訓(xùn)練數(shù)據(jù)、亦無需保證時序數(shù)據(jù)具有時間連續(xù)性，即可實現(xiàn)媲美監(jiān)督學(xué)習(xí)效果的去噪神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，解決了實際生物成像實驗中高質(zhì)量訓(xùn)練數(shù)據(jù)難以獲取的難題。
 

　　合理化深度學(xué)習(xí)超分辨顯微成像方法可適用于包括2D-SIM、3D-SIM、LLSM等在內(nèi)的多種顯微成像模態(tài)，提供高分辨率、高保真的顯微圖像重建性能，相較于傳統(tǒng)方法最多可以提升30倍的成像時程和10倍的成像速度。借助rDL成像技術(shù)，研究團(tuán)隊開展了諸多過去的成像手段無法開展的超分辨活體成像實驗，并與Lippincott-Schwartz、中科院分子細(xì)胞科學(xué)卓越創(chuàng)新中心研究員朱學(xué)良、中科院遺傳與發(fā)育生物學(xué)研究所研究員何康敏探討了其潛在的生物學(xué)意義，包括：對滴落在玻片上的U2OS細(xì)胞貼壁生長過程進(jìn)行雙色、長時程(1小時以上)、超分辨(97nm分辨率)觀測，清晰、真實地記錄了細(xì)胞粘附和遷移的動力學(xué)現(xiàn)象，且不干擾這一漫長、脆弱的生命過程；對高速擺動纖毛以當(dāng)前最快的684Hz成像速率進(jìn)行長達(dá)60,000個時間點的連續(xù)超分辨觀測，且過程中無明顯光漂白或細(xì)胞活性損傷，并對纖毛擺動模式和頻率進(jìn)行統(tǒng)計分析；對擺動纖毛及纖毛內(nèi)轉(zhuǎn)運蛋白(IFT)進(jìn)行超快、超分辨雙色成像，揭示了IFT在行進(jìn)途中碰撞、重組、掉頭等多種新行為；通過對cCAS-DNA與ER進(jìn)行雙色、長時程、超分辨成像，觀測到cGAS-DNA在保持與ER持續(xù)接觸過程中的定向運動、轉(zhuǎn)向或擴(kuò)散等行為，拓展了對膜性細(xì)胞器與無膜細(xì)胞器相互作用機(jī)制的認(rèn)知；對HeLa細(xì)胞分裂過程中的核仁磷酸蛋白(NPM1)、RNA聚合酶I亞基RPA49及染色質(zhì)(H2B)進(jìn)行超長時程(12秒采集間隔，2.5小時以上)的三維超分辨活體成像，實現(xiàn)了對完整有絲分裂過程中NPM1與RPA49兩種結(jié)構(gòu)形態(tài)變化的三維超分辨活體連續(xù)觀測，揭示了細(xì)胞有絲分裂過程中核仁形成以及NPM1、RPA49兩種無膜亞細(xì)胞結(jié)構(gòu)的相變、互作規(guī)律；以10Hz的全細(xì)胞體成像幀率對高爾基體進(jìn)行長達(dá)10,000時間點的連續(xù)拍攝，并實現(xiàn)了對完整細(xì)胞分裂過程內(nèi)質(zhì)網(wǎng)、溶酶體、線粒體等亞細(xì)胞結(jié)構(gòu)的三色、高速(秒量級)、超長時程(小時量級，>1000個時間點)三維觀測，探究了細(xì)胞有絲分裂過程中細(xì)胞器在子代細(xì)胞中的均勻分配機(jī)制。
 

　　李棟/戴瓊海合作團(tuán)隊通過人工智能算法與光學(xué)顯微成像技術(shù)的交叉創(chuàng)新，提出了合理化深度學(xué)習(xí)超分辨顯微成像框架，解決了現(xiàn)有深度學(xué)習(xí)成像方法分辨率損失、預(yù)測不確定性、訓(xùn)練集不易采集等難題，可為多種活體顯微成像模態(tài)提供30倍以上的成像速度與時程的提升，為細(xì)胞生物學(xué)、發(fā)育生物學(xué)、神經(jīng)科學(xué)等領(lǐng)域的發(fā)展提供了重要的研究工具。同時，該研究團(tuán)隊所堅持和倡導(dǎo)的人工智能算法與光學(xué)成像原理交叉創(chuàng)新、軟硬結(jié)合的研究思路，為現(xiàn)代光學(xué)顯微成像的發(fā)展開辟了新的技術(shù)路徑。
 

　　研究工作得到國家自然科學(xué)基金、科技部、中科院、中國博士后科學(xué)基金、騰訊“科學(xué)探索獎”、清華大學(xué)“水木學(xué)者”計劃的支持。
 

圖1.合理化深度學(xué)習(xí)超分辨顯微成像神經(jīng)網(wǎng)絡(luò)架構(gòu)
 

圖2.合理化深度學(xué)習(xí)超分辨顯微成像方法應(yīng)用概覽