與星瞳一起跳舞！騰訊先鋒探索虛實(shí)互動(dòng)新玩法

2022-11-03 16:55:48來源：中關(guān)村在線

11月3日-11月5日期間，時(shí)尚虛擬偶像、QQ炫舞系列虛擬代言人星瞳在杭州競(jìng)鵝酒店（騰訊電競(jìng)聯(lián)名店）舉辦線下生日活動(dòng)，期間騰訊先鋒與星瞳I(xiàn)P、競(jìng)鵝酒店展開技術(shù)合作，共同解鎖沉浸感十足的“AI虛實(shí)互動(dòng)體驗(yàn)”，邀請(qǐng)線下觀眾與星瞳在虛擬場(chǎng)景中實(shí)時(shí)“斗舞”。這也是騰訊先鋒基于其虛實(shí)互動(dòng)技術(shù)打造的“云渲染+虛實(shí)互動(dòng)”新玩法的線下首發(fā)落地。

未來，騰訊先鋒虛實(shí)互動(dòng)技術(shù)還將通過TV客戶端觸達(dá)更廣泛的用戶，帶來更具趣味性、專業(yè)性的大屏健身交互體驗(yàn)。

(資料圖片)

打破虛實(shí)界限，邀你與星瞳共舞

從2018年首次亮相，到與國(guó)樂大師方錦龍先生同臺(tái)表演，再到參與國(guó)產(chǎn)原創(chuàng)動(dòng)漫形象舞臺(tái)競(jìng)演節(jié)目《2060》，虛擬人星瞳從虛擬世界走來，以愈發(fā)鮮活的形象與現(xiàn)實(shí)世界產(chǎn)生互動(dòng)。

而競(jìng)鵝酒店是騰訊電競(jìng)與歐愉科技共同打造的電競(jìng)酒店品牌，酒店擁有濃厚的虛擬人及虛實(shí)互動(dòng)氛圍，擁有國(guó)內(nèi)首個(gè)電競(jìng)虛擬主理人V姐全方位服務(wù)、電競(jìng)主題數(shù)字互動(dòng)體驗(yàn)、正版電競(jìng)IP主題房等一系列電競(jìng)數(shù)字IP體驗(yàn)空間。這次生日活動(dòng)就落地在競(jìng)鵝酒店，借助騰訊先鋒自研的虛實(shí)互動(dòng)技術(shù)，觀眾首次以“真實(shí)形象”進(jìn)入星瞳的世界，與她共舞一曲。

在互動(dòng)環(huán)節(jié)，參與體驗(yàn)的觀眾只需站在互動(dòng)區(qū)域，其真人形象就能夠通過手機(jī)攝像頭投射在虛擬場(chǎng)景中，其在現(xiàn)實(shí)世界中的一舉一動(dòng)也會(huì)實(shí)時(shí)同步至屏幕中，舞蹈挑戰(zhàn)開始后，系統(tǒng)通過判斷觀眾的骨骼姿勢(shì)進(jìn)行打分評(píng)級(jí)。

簡(jiǎn)單易上手且自由度極高的操作，極具沉浸感、趣味性的交互玩法讓觀眾直呼過癮，同時(shí)無需穿戴設(shè)備和綠幕背景，僅通過普通手機(jī)攝像頭就能在虛擬世界實(shí)時(shí)互動(dòng)的低門檻體驗(yàn)，也讓觀眾對(duì)這一技術(shù)走進(jìn)自家客廳充滿了期待。為了打造優(yōu)質(zhì)的AI虛實(shí)互動(dòng)體驗(yàn)，騰訊先鋒在其自研虛實(shí)互動(dòng)技術(shù)里綜合應(yīng)用了諸多技術(shù)能力，包括實(shí)時(shí)無綠幕摳圖、姿態(tài)估計(jì)與動(dòng)作捕捉、實(shí)時(shí)云端視頻流媒體AI通用處理架構(gòu)。

其中，實(shí)時(shí)無綠幕摳圖技術(shù)，繞過了設(shè)備的限制，能夠在云端進(jìn)行實(shí)時(shí)4K視頻發(fā)絲級(jí)摳圖。換句話說，無需綠幕或設(shè)備算力，只需普通的手機(jī)攝像頭，也能在虛擬世界中實(shí)時(shí)呈現(xiàn)高質(zhì)量的真實(shí)人物形象，并且?guī)士蛇_(dá)60FPS，足以滿足普通用戶在虛擬場(chǎng)景實(shí)時(shí)互動(dòng)的需求。

而在姿態(tài)估計(jì)與動(dòng)作捕捉方面取得的技術(shù)突破，則進(jìn)一步降低了AI虛實(shí)互動(dòng)體驗(yàn)的門檻，不僅擺脫了對(duì)特殊場(chǎng)地和拍攝設(shè)備的依賴，也無需額外的可穿戴設(shè)備，僅通過手機(jī)或是普通的RGB攝像頭，即可實(shí)現(xiàn)包括身體、手部和表情在內(nèi)的高精度動(dòng)作捕捉以及虛擬形象表演驅(qū)動(dòng)。結(jié)合深度神經(jīng)網(wǎng)絡(luò)的視覺AI動(dòng)捕技術(shù)和端云協(xié)同的多視角拍攝與計(jì)算能力，能夠進(jìn)一步提高精度及穩(wěn)定性，精準(zhǔn)還原肢體律動(dòng)。同樣，該技術(shù)也是完全基于云端計(jì)算，無需額外算力。

上述兩大技術(shù)能力都對(duì)“云”提出了極高的要求，面對(duì)隨之而來的延時(shí)、畫質(zhì)、跨終端等實(shí)際問題，騰訊先鋒打造了實(shí)時(shí)云端視頻流媒體AI通用處理架構(gòu)，整合硬件編解碼和高效神經(jīng)網(wǎng)絡(luò)推理框架，構(gòu)建了完整的視頻流媒體處理與云端低延遲AI計(jì)算方案，并且支持先鋒云游戲kunpeng、ampere、x86+nvidia gpu等多種平臺(tái), 適配不同gpu集群部署，支持邊緣節(jié)點(diǎn)部署調(diào)度。在騰訊先鋒云游戲云計(jì)算能力的加持下，“云渲染+虛實(shí)互動(dòng)”玩法的鏈路延遲基本可穩(wěn)定在100毫秒以下，并且可實(shí)現(xiàn)單機(jī)64路視頻流的實(shí)時(shí)動(dòng)作捕捉，使得用戶隨時(shí)隨地在虛擬世界進(jìn)行交互成為可能。

多場(chǎng)景創(chuàng)新融合，探索云游戲技術(shù)的無限可能

多年來，騰訊先鋒在云游戲領(lǐng)域進(jìn)行了深入的探索，在關(guān)鍵技術(shù)、應(yīng)用場(chǎng)景、內(nèi)容生態(tài)等方面積累了豐碩的成果，并持續(xù)豐富用戶的娛樂互動(dòng)體驗(yàn)，不斷拓寬云游戲的可能性。

云游戲的愿景之一就是降低設(shè)備門檻，打破不同設(shè)備間的隔閡，讓用戶隨時(shí)隨地獲得極致的體驗(yàn)。在服務(wù)玩家的過程中，騰訊先鋒持續(xù)發(fā)力無縫跨場(chǎng)景連接，圍繞縮短內(nèi)容到用戶的“距離”，進(jìn)行了全方位的優(yōu)化，跨端解決方案日趨完善：支持手Q、微信登錄一鍵授權(quán)，打通移動(dòng)、PC、TV大屏等多終端的游戲體驗(yàn)，是國(guó)內(nèi)少有的全終端云游戲生態(tài)平臺(tái)。同時(shí)通過定制化游娛套裝, 騰訊先鋒解決了移動(dòng)游戲在大屏端的交互問題，讓用戶體驗(yàn)更加“絲滑”，促進(jìn)多用戶場(chǎng)景的滲透。

基于多年來沉淀的云游戲技術(shù)能力，騰訊先鋒也在不斷拓展技術(shù)的邊界，尋求新的突破。此前，騰訊先鋒參與了“云游長(zhǎng)城”項(xiàng)目中“數(shù)字長(zhǎng)城”的制作，為其提供云游戲技術(shù)支持，幫助數(shù)以億計(jì)的數(shù)字資產(chǎn)成功“上云”，并通過獨(dú)有的云游戲傳輸流控算法在移動(dòng)端打造3A級(jí)的觀看效果和交互體驗(yàn)。這也是全球首次將云游戲技術(shù)應(yīng)用于人類文化遺產(chǎn)保護(hù)。

今年9月，高新視頻互動(dòng)場(chǎng)景創(chuàng)新國(guó)家廣播電視總局實(shí)驗(yàn)室正式啟動(dòng)，在上海市廣播電視局的指導(dǎo)下，騰訊先鋒將聯(lián)合行業(yè)共建單位聚焦高新視頻云互動(dòng)數(shù)字場(chǎng)景創(chuàng)新應(yīng)用開展相關(guān)研究，為豐富高新視頻內(nèi)容供給、培育智慧廣電新視聽提供重要支撐。

騰訊先鋒還在積極拓展云互動(dòng)與社交、演藝、文創(chuàng)、運(yùn)動(dòng)等領(lǐng)域的創(chuàng)新融合，打造低門檻的虛實(shí)互動(dòng)體驗(yàn)。此次與星瞳I(xiàn)P的技術(shù)合作，為大眾打開了近距離接觸云游戲技術(shù)的新窗口，以極致的用戶體驗(yàn)又一次刷新了外界對(duì)于這一技術(shù)的認(rèn)知與想象空間。

未來，云游戲技術(shù)將被應(yīng)用于更多數(shù)字場(chǎng)景之中。借助云游戲技術(shù)，用戶可以與數(shù)字人、KOL等同場(chǎng)景實(shí)時(shí)互動(dòng)，或是與身處不同空間的用戶同屏互動(dòng)，抑或是豐富XR領(lǐng)域的內(nèi)容生態(tài)，提升可玩性，解鎖更多創(chuàng)新玩法。

可以預(yù)見，在云游戲技術(shù)的底盤之上，不僅可以誕生各種各樣的游戲服務(wù)，持續(xù)提升用戶娛樂體驗(yàn)，也可以與更多非游戲行業(yè)創(chuàng)新結(jié)合，以豐富的形態(tài)滲透進(jìn)大眾生活，帶來全新的數(shù)字體驗(yàn)，釋放無限可能。

標(biāo)簽：新聞資訊