中國(guó)經(jīng)濟(jì)周刊-經(jīng)濟(jì)網(wǎng)訊 （記者 孫冰） 應(yīng)輝，一名AI動(dòng)捕研究師，也可以介紹為一個(gè)可以“讓二次元小姐姐跳舞更美的三次元小哥哥”。

作為“元宇宙打工人”，應(yīng)輝的工作其實(shí)就是通過(guò)AI技術(shù)把你在現(xiàn)實(shí)世界中的動(dòng)作捕捉提取出來(lái)，然后在虛擬世界中進(jìn)行還原，這樣就可以讓在虛擬世界中的你也能動(dòng)起來(lái)。

(資料圖片)

為了做好這份工作，應(yīng)輝和幾位同事雖然都是理工技術(shù)男，但大家都關(guān)注了很多B站舞蹈區(qū)UP主，還會(huì)看很多二次元視頻。而且由于測(cè)試需要，他們還常常需要親自表演一些舞蹈動(dòng)作，以更好地“調(diào)教”動(dòng)捕軟件。

應(yīng)輝在工作中

“那畫(huà)面，只能說(shuō)是相當(dāng)‘辣眼睛’?！睉?yīng)輝半開(kāi)玩笑地說(shuō)。當(dāng)記者提出“無(wú)圖無(wú)真相”的要求時(shí)，應(yīng)輝發(fā)來(lái)了同事的表演動(dòng)圖。

男生同事“辣眼”演繹二次元小姐姐

男生同事“辣眼”演繹二次元小姐姐

從傳統(tǒng)動(dòng)捕到AI動(dòng)捕，從“奢侈品”到人人可及

應(yīng)輝本科和碩士都就讀于東南大學(xué)微電子專業(yè)，他是在暑期實(shí)習(xí)中第一次接觸到了AI動(dòng)捕這個(gè)領(lǐng)域。

“雖然當(dāng)時(shí)做的只是做了一個(gè)非常簡(jiǎn)陋的Demo，通過(guò)手機(jī)拍攝來(lái)重現(xiàn)人體三維模型，然后生成一個(gè)自己的專屬虛擬形象。但我感覺(jué)這個(gè)應(yīng)用未來(lái)會(huì)有很多落地場(chǎng)景，會(huì)非常有發(fā)展前景?！睉?yīng)輝告訴《中國(guó)經(jīng)濟(jì)周刊》記者。于是，應(yīng)輝在畢業(yè)后就選擇加入網(wǎng)易互娛AI Lab，成為了一名AI動(dòng)捕研究師。

動(dòng)捕，即動(dòng)作捕捉，其實(shí)并不是一個(gè)新領(lǐng)域，早在二十年多前開(kāi)啟的《指環(huán)王》三部曲中，咕嚕（Gollum）就是由演員安迪·瑟金斯提供的動(dòng)作捕捉和配音，驚艷了全球觀眾，很多粉絲都認(rèn)為奧斯卡欠他一座“小金人”。而在《阿凡達(dá)》中，詹姆斯·卡梅隆導(dǎo)演更是讓動(dòng)作捕捉與表情捕捉技術(shù)在影視領(lǐng)域的應(yīng)用再創(chuàng)新高度。

之后，在影視、游戲等多個(gè)產(chǎn)業(yè)中，動(dòng)捕的應(yīng)用越來(lái)越廣泛。但毫無(wú)疑問(wèn)，傳統(tǒng)動(dòng)捕是一種“奢侈品”。

動(dòng)捕成果生成過(guò)程

據(jù)應(yīng)輝介紹，傳統(tǒng)動(dòng)捕流程一般采用的是光學(xué)或慣性動(dòng)捕，需要專業(yè)動(dòng)捕演員穿戴專業(yè)動(dòng)捕服裝或在身上添加標(biāo)記點(diǎn)，在專業(yè)動(dòng)捕攝影棚中，通過(guò)一圈的專業(yè)紅外相機(jī)來(lái)捕獲動(dòng)作數(shù)據(jù)。而且一個(gè)動(dòng)作或許要重復(fù)多次、反復(fù)捕捉才能達(dá)到好的提取效果。因此，傳統(tǒng)動(dòng)捕的制作周期漫長(zhǎng)，成本也極高。

“雖然目前國(guó)內(nèi)外都有較為成熟的傳統(tǒng)動(dòng)捕解決方案，但一套動(dòng)捕設(shè)備的硬件成本就要幾十萬(wàn)到幾百萬(wàn)元，制作的內(nèi)容的成本通常要以每分鐘萬(wàn)元級(jí)別來(lái)計(jì)算?！睉?yīng)輝說(shuō)。

正如AI正在改變和賦能千行百業(yè)一樣，人工智能技術(shù)也給動(dòng)捕行業(yè)帶來(lái)巨大改變，極大地實(shí)現(xiàn)了降本增效。應(yīng)輝透露，現(xiàn)在的AI動(dòng)捕不依賴專業(yè)設(shè)備和特定采集環(huán)境，只要一臺(tái)手機(jī)就能完成，這就讓AI動(dòng)捕變得越來(lái)越人人可及。

“比如我們研發(fā)的AIxPose視頻動(dòng)捕工具就是一種更輕量級(jí)、高效率、低成本的動(dòng)捕方式。普通人只需要用普通手機(jī)攝像頭拍攝視頻，這個(gè)軟件就可在短短幾分鐘內(nèi)自動(dòng)提取人體的動(dòng)作數(shù)據(jù)，再應(yīng)用于游戲、動(dòng)畫(huà)、廣告、教學(xué)等各類長(zhǎng)短視頻的制作流程中。相比美術(shù)人員‘手K’（指美術(shù)人員一幀一幀手繪動(dòng)畫(huà)，一分鐘動(dòng)畫(huà)視頻大概需要1000多幀），這種方式能節(jié)省80%左右的制作時(shí)間和成本。”應(yīng)輝說(shuō)。

應(yīng)輝還表示，現(xiàn)在國(guó)外也有很多科技公司在做這方面的研究和探索。“應(yīng)該說(shuō)，我們至少與世界先進(jìn)水平是同步的?！彼f(shuō)。

但應(yīng)輝認(rèn)為，AI動(dòng)捕和傳統(tǒng)動(dòng)捕并不是替代關(guān)系，AI動(dòng)捕的應(yīng)用場(chǎng)景和傳統(tǒng)動(dòng)捕其實(shí)有很大差別，更多是為用戶提供一個(gè)新的選擇。

以對(duì)動(dòng)捕需求很大的短視頻創(chuàng)作領(lǐng)域?yàn)槔?，“短視頻需求以短平快為主，因?yàn)闊狳c(diǎn)來(lái)得快走得也快，如果用傳統(tǒng)動(dòng)捕方式來(lái)制作，拋開(kāi)成本不談，等一個(gè)月后做出來(lái)，熱點(diǎn)早就涼了?！睉?yīng)輝說(shuō)。

除了降本增效，AI動(dòng)捕由于是直接從視頻中提取動(dòng)作，而不是通過(guò)動(dòng)捕演員的表演來(lái)呈現(xiàn)，所以素材可以更加廣泛和易得。

“比如前一陣子《狂飆》很火，很多短視頻都在模仿高啟強(qiáng)那種很拽的走路步伐，這個(gè)動(dòng)捕演員就很難模仿出張頌文老師的表演精髓。但AI動(dòng)捕就可以直接使用原視頻，讓虛擬人物直接‘復(fù)刻’張老師的經(jīng)典動(dòng)作?！睉?yīng)輝說(shuō)。

一部手機(jī)，就能讓你在元宇宙里動(dòng)起來(lái)

隨著元宇宙、虛擬人、數(shù)字人、AR/AR的興起，UGC創(chuàng)作對(duì)動(dòng)捕需求正變得越來(lái)越大，應(yīng)用場(chǎng)景也越來(lái)越豐富。“元宇宙的核心就是為現(xiàn)實(shí)世界建立一個(gè)在虛擬世界中的映像，而動(dòng)捕技術(shù)可以讓元宇宙中的你動(dòng)起來(lái)，而且是盡可能以百分百還原的方式動(dòng)起來(lái)。”應(yīng)輝說(shuō)。

一部手機(jī)就能實(shí)現(xiàn)動(dòng)捕

但是，AI動(dòng)捕技術(shù)的實(shí)現(xiàn)并不容易。應(yīng)輝透露，自己的同學(xué)大部分是在半導(dǎo)體、計(jì)算機(jī)、互聯(lián)網(wǎng)等行業(yè)里工作，自己的工作因?yàn)殡x用戶更近，所以會(huì)更有趣一些。但這意味著，他除了要專注技術(shù)，還需要掌握很多其他領(lǐng)域的知識(shí)力和理解力。

“我們一開(kāi)始沒(méi)有想到動(dòng)捕對(duì)動(dòng)作細(xì)節(jié)會(huì)有那么多、那么高的要求。我們覺(jué)得動(dòng)作提取得已經(jīng)很好了，因?yàn)檎б豢创_實(shí)是差不多的，但專業(yè)人士一看，就會(huì)發(fā)現(xiàn)區(qū)別很大。比如，美術(shù)的同事會(huì)指出，虛擬形象在跳舞的時(shí)候腳步有滑動(dòng)，或者跑步時(shí)候身體重心不對(duì)，不像一個(gè)正常人，而是像一個(gè)機(jī)器人，這些就都需要我們反復(fù)進(jìn)行技術(shù)上的調(diào)整和優(yōu)化?！睉?yīng)輝說(shuō)。

為了能更好地領(lǐng)悟到舞蹈表現(xiàn)力的精髓，應(yīng)輝會(huì)大量觀看舞蹈視頻和惡補(bǔ)二次元，還會(huì)親身體驗(yàn)?！澳憧吹降亩卧〗憬闾枰曨l，很有可能動(dòng)作是提取自一個(gè)三次元小哥哥?！彼f(shuō)。

但是，當(dāng)應(yīng)輝和同事們幫助客戶把從一段過(guò)去二十多天才能完成的營(yíng)銷動(dòng)畫(huà)視頻縮短到三天就完成了，他們還是充滿了成就感的?！斑^(guò)去要制作一段跳舞動(dòng)畫(huà)，可以能需要美術(shù)人員一幀幀地手繪出來(lái)，但現(xiàn)在可以先做動(dòng)捕，然后美術(shù)人員只需要在動(dòng)捕視頻的基礎(chǔ)上進(jìn)行修改就可以，這大大提高了美術(shù)的生產(chǎn)力?！睉?yīng)輝說(shuō)，更讓他們感受到工作意義和價(jià)值的是，他們把動(dòng)捕體驗(yàn)帶給了越來(lái)越多的普通人，讓每個(gè)人只要通過(guò)一部手機(jī)，就有機(jī)會(huì)創(chuàng)作出自己的元宇宙作品。

一審：鄭揚(yáng)波 二審：王新景 三審：周琦

關(guān)鍵詞：