當前速訊：OPPO發(fā)布最新AI技術，僅需幾部手機，便可生成一個能熟練舞蹈的“數(shù)字分身”

2022-08-25 16:43:56來源：中關村在線

當前，現(xiàn)實物理世界與虛擬數(shù)字世界從未如此特別地連接、發(fā)展著。很多人都夢想過上科幻電影演繹的生活——自由地在兩個平行空間穿梭，運用虛擬化身學習、工作、娛樂，開啟無限可能的第二人生。

(資料圖)

OPPO正在將這樣的“數(shù)字分身”自由從理想照進現(xiàn)實。通過自研結構化局部輻射場動態(tài)角色建模方法，OPPO在業(yè)界首次實現(xiàn)了自動為寬松著裝人體創(chuàng)建動態(tài)數(shù)字孿生體的工作。AI算法僅通過分析手機攝像頭拍攝的RGB視頻，即可自動創(chuàng)建用戶的“三維化身”，還原動態(tài)細節(jié)。

高效、便捷、易得，“數(shù)字分身”不再遙不可及

不穿戴全套動作捕捉設備，還要低成本、高效率、高質(zhì)量的驅(qū)動虛擬世界的人物行為，是一件非常復雜且精細的事情。在操作層面，OPPO簡化了三維人體采集、掃描、修復等步驟的門檻，同時大大提升了真實性和便捷性。來到OPPO數(shù)字分身實驗室，模特只需在室內(nèi)中央站好，舒展姿態(tài)，讓幾部OPPO Find X5 Pro手機進行多角度的拍攝，便可以完成人體形態(tài)的初步記錄和數(shù)據(jù)收集，為更逼真的數(shù)字分身的生成打下基礎。

僅需幾部OPPO Find X5 Pro手機，便可以完成對模特人體形態(tài)的初步記錄和數(shù)據(jù)收集

與普遍使用2D圖片重建的方式不同，視頻錄制完成后，AI模型通過計算手機攝像頭拍攝的RGB數(shù)據(jù)，可以自動生成3D人體模型，克服傳統(tǒng)方法導致的重建誤差。

AI模型通過計算手機攝像頭拍攝的RGB數(shù)據(jù)，可以自動生成3D人體模型

為了進一步打造數(shù)字世界的舞蹈明星，OPPO找到專業(yè)舞者，通過對他的動態(tài)捕捉，預先錨定其舞動時的骨骼狀態(tài)為節(jié)點，從而構建一組結構化的局部輻射場。

OPPO通過捕捉專業(yè)舞者的骨骼動態(tài)，構建一組結構化的局部輻射場

局部輻射場可以模擬其相應節(jié)點周圍局部空間內(nèi)的形狀和外觀，并根據(jù)身體姿態(tài)和服裝樣式的動態(tài)細節(jié)進行變化。值得一提的是，算法可以用殘差運動（residual movements）更好體現(xiàn)出舞蹈時衣裙擺動的細微變化?；诖四Ｐ瓦壿?，神經(jīng)網(wǎng)絡可以掌握多樣的舞種動作，讓舞蹈夢想觸手可及。未來，模型也可以不斷學習，支撐更多應用場景，引領人們?nèi)ビH身經(jīng)歷各種超越想象力的互動體驗。

舞者的舞蹈姿勢經(jīng)過編碼和渲染，僅需幾小時，一個邁著酷炫流行舞步的“數(shù)字分身”最終生成。當音樂響起，孿生體化身與真實舞者同臺“斗舞”，運動節(jié)拍準確、利落，腳步靈動，長裙也隨著隨舞步變化而輕微起伏、搖曳，與現(xiàn)實中的舞者別無二致。

僅需幾小時，一個能熟練舞蹈的人體“數(shù)字分身”便可最終生成

立體、逼真、靈動，OPPO AI的全面突破

這一系列有趣畫面的背后，是OPPO通過改進 NeRF（Neural Radiance Fields）創(chuàng)新的結構化局部輻射場動態(tài)角色建模方法。

傳統(tǒng)的創(chuàng)建3D建模方法在觀察和分離人體姿態(tài)與衣物形變之間面臨著很大困難。在神經(jīng)場景渲染技術的支持下，OPPO突破性地將傳統(tǒng)NeRF模型分解為一組結構化的局部輻射場（structured local radiance fields），由身體骨架驅(qū)動，動態(tài)細節(jié)嵌入作為條件，提供了一種泛化性能更加的方案。

摒除了常見的全局規(guī)范場，局部輻射場表示方法可以更為細致的從粗到細分為三個層次：第一層是骨架運動；第二層是殘差運動；第三層是時間變化細節(jié)，通過分層處理避免反向蒙皮的缺點，解決模糊性問題。由此一來，算法不僅在學習衣物logo、褶皺、層次和織物紋理等細節(jié)方面表現(xiàn)得更好，而且即使面對“未知”的場景，也能準確生成。不久的將來，每個人都有機會創(chuàng)造自己的全動畫數(shù)字孿生體，在數(shù)字世界表達另一個自我。

一直以來，OPPO致力于通過技術創(chuàng)新為美好生活注入更多靈感。在OPPO數(shù)字分身實驗室，我們將繼續(xù)進行基礎研究與應用，賦能千行萬業(yè)。在健康領域，用戶的數(shù)字分身可以還原肢體動作，幫助用戶直觀看到自己的動作形態(tài)與準確度，實現(xiàn)AI智能識別糾錯和指導，甚至可以提前創(chuàng)造出擁有完美身材的“自己”，讓居家健身更沉浸、更有趣；游戲動畫設計師的創(chuàng)作靈感同樣能與數(shù)字分身碰撞出新的火花，未來游戲或?qū)⒒谡鎸嵢宋飫討B(tài)進行塑造，從2D平面到3D立體，打造活靈活現(xiàn)的“真人化”原創(chuàng)角色；數(shù)字人作為虛擬世界的身份入場券，下一代XR融合場景、AR/VR世界中跨越時空的在線生活，也值得期待。

OPPO相信，數(shù)字分身將進一步協(xié)助人類社會發(fā)展，在娛樂、時尚、通信等領域開啟前所未有的體驗，激發(fā)創(chuàng)造活力，開啟更智慧、更多可能的未來。

標簽：