近日，河海大學(xué)信息科學(xué)與工程學(xué)院范新南教授團(tuán)隊(duì)在單目深度估計(jì)研究中取得重要進(jìn)展，研究成果以“Recurrent Multiscale Feature Modulation for Geometry Consistent Depth Learning”為題發(fā)表在人工智能領(lǐng)域頂級(jí)學(xué)術(shù)期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》（IEEE TPAMI）上。論文通訊作者為范新南教授和史朋飛副教授，第一作者為周仲凱博士。

在人類感知真實(shí)世界環(huán)境的過(guò)程中，人眼視覺系統(tǒng)獲取的外部環(huán)境信息占據(jù)了其他感知系統(tǒng)的主導(dǎo)。人眼作為一種精密的視覺圖像獲取系統(tǒng)，可以準(zhǔn)確的獲取周圍環(huán)境與景物的三維結(jié)構(gòu)與運(yùn)動(dòng)信息，從而為人類的感知決策提供精確的判斷依據(jù)。隨著計(jì)算機(jī)技術(shù)和人工智能的迅猛發(fā)展，如何讓計(jì)算機(jī)像人類一樣自主感知外部環(huán)境，并替代人眼實(shí)現(xiàn)外部世界的目標(biāo)識(shí)別、跟蹤與測(cè)量，已經(jīng)成為當(dāng)前相關(guān)學(xué)者研究的重要課題，在此背景下，自監(jiān)督單目深度估計(jì)技術(shù)應(yīng)運(yùn)而生。

該技術(shù)通過(guò)利用單目相機(jī)捕捉的圖像信息，借助深度學(xué)習(xí)算法，從未標(biāo)注的數(shù)據(jù)中自動(dòng)提取深度信息，顯著降低了對(duì)標(biāo)注數(shù)據(jù)的依賴。這不僅使得深度估計(jì)更加經(jīng)濟(jì)高效，同時(shí)也拓展了其在機(jī)器人導(dǎo)航、自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域的應(yīng)用。自監(jiān)督單目深度估計(jì)技術(shù)的優(yōu)勢(shì)在于其能夠從單一視角下推斷出物體的三維結(jié)構(gòu)，具備較強(qiáng)的泛化能力和魯棒性，從而為計(jì)算機(jī)自主感知提供了可靠的技術(shù)支持，推動(dòng)了智能系統(tǒng)的發(fā)展與進(jìn)步。

在信息科學(xué)與工程學(xué)院范新南教授的帶領(lǐng)下，史朋飛副教授、辛元雪副教授和周仲凱博士，研究建立了一種全新的循環(huán)細(xì)化方案，提出了一種輕量級(jí)的新型多尺度循環(huán)細(xì)化單目深度估計(jì)模型。同時(shí)，針對(duì)單目深度估計(jì)模型普遍存在的深度邊緣模糊和幾何一致性差的問(wèn)題，提出了一種面向空間幾何一致性的單目深度估計(jì)方法。該成果突顯了提出的循環(huán)細(xì)化方案和面向空間幾何一致性的訓(xùn)練策略在顯著提升單目深度估計(jì)模型的精度、效率和一致性方面的有效性。

圖1 多尺度循環(huán)細(xì)化單目深度估計(jì)R-MSFM模型

論文的主要貢獻(xiàn)包括：

（1）鑒于經(jīng)典的由粗到細(xì)估計(jì)方案過(guò)度依賴于深度編碼器，從而導(dǎo)致模型參數(shù)繁多和訓(xùn)練過(guò)程中出現(xiàn)的誤差傳播問(wèn)題，創(chuàng)新性地提出了一種循環(huán)細(xì)化方案。基于此方案，研發(fā)了一種輕量級(jí)的多尺度循環(huán)細(xì)化單目深度估計(jì)模型R-MSFM，改善了傳統(tǒng)由粗到細(xì)估計(jì)方案模型的局限性。作為循環(huán)細(xì)化方案的基準(zhǔn)模型，這一多尺度循環(huán)細(xì)化單目深度估計(jì)模型在顯著降低模型參數(shù)的同時(shí)，有效提升了單目深度估計(jì)的精度。該模型以其輕量化結(jié)構(gòu)、較高的運(yùn)行效率及較高的深度估計(jì)能力，展現(xiàn)了在內(nèi)存受限場(chǎng)景下的應(yīng)用潛力。

（2）鑒于當(dāng)前方法在處理視頻連續(xù)幀時(shí)，深度估計(jì)結(jié)果常出現(xiàn)幾何不一致的現(xiàn)象，提出了一種面向空間幾何一致性的訓(xùn)練策略。該策略通過(guò)設(shè)計(jì)專門的空間幾何一致性損失函數(shù)，有效衡量相鄰圖像幀在有效區(qū)域內(nèi)深度估計(jì)值的一致性。此外，該策略將不一致性視為一種損失進(jìn)行懲罰，確保不同圖像幀中相同三維點(diǎn)在重投影空間中保持一致的坐標(biāo)位置。通過(guò)高頻對(duì)齊技術(shù)，這一策略能夠更精準(zhǔn)地表征目標(biāo)細(xì)節(jié)信息。該策略為單目深度估計(jì)在視頻應(yīng)用領(lǐng)域提供了新的解決方案，有望顯著提升視頻深度估計(jì)的準(zhǔn)確性與一致性。

圖2 深度循環(huán)細(xì)化對(duì)比可視化結(jié)果

該研究得到國(guó)家重點(diǎn)研發(fā)計(jì)劃-智能機(jī)器人專項(xiàng)（2022YFB4703400）、優(yōu)秀博士基金（B220203032）、江蘇省自然科學(xué)基金（BK20231186）等項(xiàng)目的支持。合作者包括懷俄明大學(xué)的段東亮教授，明尼蘇達(dá)大學(xué)的楊柳青教授。

IEEE TPAMI為國(guó)內(nèi)外公認(rèn)的模式識(shí)別與人工智能頂級(jí)期刊，被中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦為A類期刊，2024年度的影響因子IF=20.8。主要收錄人工智能、模式識(shí)別、計(jì)算機(jī)視覺及機(jī)器學(xué)習(xí)領(lǐng)域的原創(chuàng)性科研成果。

（論文鏈接：https://doi.org/10.1109/TPAMI.2024.3420165）