當(dāng)前，仿人機器人在與人類進行情感人機交互時，面臨無法生成復(fù)雜且真實面部表情的難題。由于現(xiàn)有技術(shù)限制，機器人無法像人類一樣通過細膩的面部表情表達情感，這在一定程度上影響了用戶的參與度和交互體驗。因此，提升機器人生成自然表情的能力對于增強情感人機交互的質(zhì)量具有重要意義。

學(xué)術(shù)界解決機器人情感表達問題的研究思路之一是利用預(yù)定義規(guī)則和硬件設(shè)計來生成機器人表情。生成的面部表情基于固定的規(guī)則和有限的表情類別，預(yù)定義的表情風(fēng)格和種類有限，無法生成豐富且細膩的面部表情。此外，目前的預(yù)定義規(guī)則技術(shù)大多依賴于手動編碼，缺乏靈活性，難以適應(yīng)不同情境下的情感表達需求。例如，固定的表情編碼無法捕捉到面部肌肉的微小運動，導(dǎo)致生成的表情不夠自然，影響用戶對機器人的情感理解和互動體驗。

我校劉小峰教授團隊聯(lián)合英國曼徹斯特大學(xué)、英國萊斯特大學(xué)、常州大學(xué)科研人員基于現(xiàn)有技術(shù)在表情生成過程中捕捉面部肌肉細節(jié)的缺陷，設(shè)計了一種基于面部動作單元（Action Units, AUs）的表情解耦生成方法，探索了該方法在生成自然且細膩面部表情方面的效果，并進一步開發(fā)了一個具備多自由度面部運動的情感機器人（圖1），以實際驗證該方法在情感人機交互中的應(yīng)用價值。這一研究旨在通過創(chuàng)新的方法，使機器人能夠生成豐富且自然的面部表情，從而改善用戶體驗，并推動情感人機交互的發(fā)展。

圖1：系統(tǒng)框架：連續(xù)域中的解剖級AU分布標簽被檢測為源AU AS和目標AU AT，將AS、AT和中性機器人面孔輸入到AU-FEDS中，以生成具有目標表情的機器人面孔，隨后將其輸入到運動指令映射網(wǎng)絡(luò)，以獲得機器人的面部運動控制指令

科研團隊還開展了一系列實驗，探索不同面部動作單元（AUs）在生成細膩面部表情中的具體作用和效果。首先，團隊研究人員通過控制不同的AUs組合，生成六種典型情感表情，包括開心、憤怒、悲傷、驚訝、恐懼和厭惡（圖2），實驗探索編輯多個AUs生成離散面部表情的有效性。實驗結(jié)果顯示，該方法能夠生成豐富且自然的表情，并能夠準確反映復(fù)雜的面部肌肉運動。這表明，通過精細控制AUs，機器人能夠呈現(xiàn)出細膩且多樣化的情感表達。

圖2：通過編輯多個AU生成的離散面部表情結(jié)果

其次，團隊研究人員選擇了源表情和目標表情，并通過調(diào)整AUs的強度來生成中間的連續(xù)表情（圖3），實驗評估了連續(xù)面部表情生成的效果。結(jié)果顯示，系統(tǒng)能夠平滑地過渡表情，生成自然且連續(xù)的表情變化。這驗證了所提出方法在生成連續(xù)表情方面的有效性，使機器人能夠具有在不同情感狀態(tài)之間過渡的能力。

圖3：連續(xù)面部表情生成的結(jié)果

此外，為了評估不同方法在應(yīng)對身份信息干擾時的表現(xiàn)情況，團隊測試了AU-FEDS、StarGAN和GANimation三種方法，讓它們處理帶有胡須、皺紋等身份干擾信息的樣本。結(jié)果表明AU-FEDS方法生成的圖像比其他兩種方法出現(xiàn)的偽影更少，并能更好地保持原始身份信息。這證明了AU-FEDS在處理帶有身份信息干擾方面的優(yōu)越性能。

圖4：在帶有身份干擾下使用不同方法生成面部表情結(jié)果圖

最后，團隊還進行了機器人在AUs標簽驅(qū)動下生成各種表情的實驗（圖5）。通過設(shè)置不同的AUs標簽，機器人成功生成了多種自然的表情，包括開心、憤怒、悲傷、驚訝、恐懼和厭惡。實驗結(jié)果表明，在AUs驅(qū)動下，機器人能夠生成細膩且自然的表情，從而顯著提升情感人機交互的效果。這一發(fā)現(xiàn)表明，該技術(shù)在增強機器人與人類互動的自然性和有效性方面具有重要潛力。

圖5：機器人在AU標簽驅(qū)動下生成各種表情的結(jié)果圖

本研究由我校人工智能與自動化學(xué)院劉小峰教授和常州大學(xué)倪蓉蓉講師、楊彪教授、英國萊斯特大學(xué)宋思陽助理教授、英國曼徹斯特大學(xué)Angelo Cangelosi教授共同完成，研究成果在機器人領(lǐng)域國際頂級期刊《IEEE Transactions on Robotics》上發(fā)表了題為“Unlocking Human-Like Facial Expressions in Humanoid Robots: A Novel Approach for Action Unit Driven Facial Expression Disentangled Synthesis”的研究論文（https://ieeexplore.ieee.org/document/10582526）。該研究得到了國家自然科學(xué)基金面上項目（No.62276090）、國家重點研發(fā)計劃項目（2018AAA0100800）以及江蘇省重點研發(fā)計劃項目（No.BK20192004）的資助。

《IEEE Transactions on Robotics》為機器人學(xué)領(lǐng)域公認的國際頂級期刊之一，要求論文在理論及工程實踐上均能為機器人學(xué)發(fā)展作出重要貢獻，其每年全球發(fā)文量約80-100篇，代表了機器人領(lǐng)域先進的重大進展，定位與規(guī)劃方面的里程碑著作多數(shù)發(fā)表在該期刊上。