【儀表網(wǎng) 研發(fā)快訊】近日，清華大學深圳國際研究生院李星輝副教授團隊在數(shù)字光柵結(jié)構(gòu)光三維(Structured light 3D reconstruction technology，SL3D)重建領(lǐng)域?qū)崿F(xiàn)進展。針對高質(zhì)量三維重建所依賴的真實數(shù)據(jù)資源少，構(gòu)建策略效率低和前沿數(shù)據(jù)缺乏問題提出了創(chuàng)新性的解決方案。團隊深入研究了場景背景穩(wěn)定性對網(wǎng)絡(luò)前景預測精度的影響，并首次系統(tǒng)性探討了樣本空間分布頻率與模型性能之間的關(guān)系，從根本上提升了數(shù)據(jù)集構(gòu)建的科學性與效率。在此策略指導下，團隊開發(fā)了SL3D-BF(Structuredlight 3D dataset with background-to-foreground enhancement)，一個面向開放工業(yè)環(huán)境的結(jié)構(gòu)光三維點云數(shù)據(jù)集。數(shù)據(jù)集涵蓋超過2000多個復雜工業(yè)場景，包含10萬多幀高精度光柵圖像，支持對真實物體如雕塑、法蘭、輪轂、電池板、電機、齒輪和不銹鋼管等物體的高精度重建，全面展現(xiàn)了材質(zhì)多樣性和工業(yè)實際挑戰(zhàn)。該成果為深度學習驅(qū)動的結(jié)構(gòu)光三維重建技術(shù)提供了全流程的數(shù)據(jù)支撐和構(gòu)建范式，有望顯著推動智能制造、精密檢測等關(guān)鍵領(lǐng)域的三維感知能力。
 

圖1.數(shù)據(jù)集組成，特征數(shù)據(jù)和其在現(xiàn)代工業(yè)中的應(yīng)用場景示意
 

　　SL3D-BF不僅是一個大規(guī)模數(shù)據(jù)集，更是一項具備系統(tǒng)設(shè)計理念的數(shù)據(jù)工程創(chuàng)新。李星輝團隊自研的高精度結(jié)構(gòu)光點云采集系統(tǒng)，其標準球半徑測量誤差控制在十幾微米級別，為數(shù)據(jù)集的精度基準提供了強有力保障。團隊提出的背景增強與空間頻率分布優(yōu)化策略，有效降低了數(shù)據(jù)構(gòu)建成本，同時顯著提升了網(wǎng)絡(luò)的預測性能。實驗證明，在統(tǒng)一網(wǎng)絡(luò)架構(gòu)下，白板背景下的前景物體預測誤差相比黑色背景下降了高達82%(從0.45rad降至0.08rad)，凸顯背景穩(wěn)定性在三維重建中的關(guān)鍵作用。SL3D-BF是國內(nèi)外為數(shù)不多的覆蓋全過程數(shù)據(jù)鏈條的高精度數(shù)據(jù)集，提供從光柵到高密度3D點云的完整閉環(huán)信息，支持陰影抑制、前景顯著性增強等高級研究。數(shù)據(jù)集中還包含標準球子集，為3D點云重建精度的定量評估提供了客觀基準。
 

　　圖2.數(shù)據(jù)集場景背景對目標前景預測精度的影響。SF-AP代表端到端技術(shù)路線，SF-4ND代表分子分母技術(shù)路線
 

　　SL3D-BF已在多個新系統(tǒng)上完成遷移學習驗證，顯示出良好的泛化能力與廣泛適用性。該研究作為為計算機視覺與智能制造領(lǐng)域的重要公共資源，將推動結(jié)構(gòu)光三維重建技術(shù)在缺陷檢測、深度估計、語義分割等領(lǐng)域的跨界融合，并為深度學習模型在真實場景中的穩(wěn)健泛化提供堅實的實驗平臺。該數(shù)據(jù)集為結(jié)構(gòu)光三維技術(shù)的標準化與應(yīng)用奠定了基礎(chǔ)，助力我國在高端制造與智能感知領(lǐng)域走在國際前沿。
 

　　同時，盡管基于深度學習的SL3D技術(shù)近幾年來飛速發(fā)展，通過單幀輸入端到端預測的方式獲得高精度的3D點云仍然是一個尚未解決的挑戰(zhàn)。團隊提出了多路物理監(jiān)督輔助的單幀端到端絕對相位預測網(wǎng)絡(luò)(Multi-path branch auxiliary supervision network, MPS_XNet)。具體來說，MPS_XNet基于絕對相位時間展開物理模型的三個關(guān)鍵階段，分子、分母和包裹相位，作為輔助分支來幫助絕對相位主路進行長距離非線性預測。此外，基于此模型設(shè)計了專屬多路損失函數(shù)，促使網(wǎng)絡(luò)沿著模型定義的方向?qū)W習最優(yōu)路徑。MPS_XNet不僅彌補了單幀輸入信息的不足，而且通過將單個長距離預測難題轉(zhuǎn)換為多個短距離子任務(wù)，以可解釋的方式指導網(wǎng)絡(luò)訓練，大幅提升了網(wǎng)絡(luò)預測精度。
 

圖3.MPS_XNet網(wǎng)絡(luò)模型
 

　　實驗表明，MPS_XNet在五個數(shù)據(jù)集(金屬工件和復雜輪廓)和研究提出的測量系統(tǒng)上均優(yōu)于現(xiàn)有的先進回歸網(wǎng)絡(luò)范式，此策略通過物理模型設(shè)計和20毫秒內(nèi)的任務(wù)分解消耗，在相位計算中平均誤差突破性的降低了90%。此策略可以用在通用的回歸網(wǎng)絡(luò)中，以加強單分支網(wǎng)絡(luò)的魯棒性和可解釋性，可以在工業(yè)和科學應(yīng)用中實現(xiàn)實時、高精度的3D測量。
 

圖4.MPS_XNet網(wǎng)絡(luò)在泛化數(shù)據(jù)集上的單幀輸入點云輸出
 

　　數(shù)據(jù)集相關(guān)研究成果以“SL3D-BF：一個具有背景到前景增強的真實世界結(jié)構(gòu)光3D數(shù)據(jù)集”(SL3D-BF: A Real-World Structured Light 3D Dataset with Background-to-Foreground Enhancement)為題，于5月19日發(fā)表于《IEEE電路與系統(tǒng)視頻技術(shù)匯刊》(IEEE Transactions on Circuits and Systems for VideoTechnology, TCSVT)。
 

　　物理監(jiān)督模型機制研究成果以“可靠的三維重建與單次數(shù)字光柵和物理模型監(jiān)督機器學習”(Reliable 3D Reconstruction with Single-Shot Digital Grating and Physical Model-Supervised Machine Learning)為題，于6月5日發(fā)表于《IEEE儀器與測量匯刊》(IEEE Transactions on Instrument and Measurement)。
 

　　兩篇的論文第一作者為清華大學深圳國際研究生院2021級博士生李一鳴，通訊作者為清華大學深圳國際研究生院副教授李星輝和鵬城實驗室副研究員梁驍俊。其他合作者包括清華大學深圳國際研究生院2023級碩士生陳偉康、李梓楠，2023級博士生王浩；鵬城實驗室高文院士、桂衛(wèi)華院士，助理研究員張超波；清華大學深圳國際研究生院研究員王曉浩。研究得到深圳市穩(wěn)定支持計劃項目、鵬城實驗室重大攻關(guān)項目的資助。