“你好，小布！附近有什么好吃的？”用戶的話音剛落，手機(jī)上就出現(xiàn)了一個(gè)小窗口，讓附近飯店的排名一目了然。對(duì)話中的“小布”是OPPO手機(jī)自帶的智能助手，并在前段時(shí)間成為業(yè)界首個(gè)基于“虛擬人”多模態(tài)交互的手機(jī)智能助手。去年年末，“虛擬人”市場(chǎng)快速升溫。除OPPO之外，京東、百度、阿里巴巴等科技企業(yè)都推出了自己的超寫實(shí)數(shù)字人，B站還專門為虛擬主播開(kāi)設(shè)分區(qū)，“虛擬人”已經(jīng)走進(jìn)了人們的生活。

“虛擬人”受到熱捧的重要原因之一，是人們對(duì)人機(jī)交互的更深層次需要。從單純的文本到語(yǔ)音，再到計(jì)算機(jī)視覺(jué)等技術(shù)的融合，人的天性傾向于融合視覺(jué)、聽(tīng)覺(jué)等多種感官的交互過(guò)程。而“虛擬人”背后的多模態(tài)人機(jī)交互技術(shù)，恰好能夠滿足人對(duì)外界信息獲取逐漸升維的過(guò)程，讓“虛擬人”看起來(lái)像人、聽(tīng)起來(lái)像人，更加具備人的溫度。

“虛擬人”背后的技術(shù)支撐

人機(jī)交互走過(guò)了鍵盤交互、觸摸交互、語(yǔ)音交互等若干階段。如今，由于用戶對(duì)人機(jī)交互的便利性、自然性以及準(zhǔn)確性提出了更高要求，更加智能化且能夠理解用戶意圖的多模態(tài)人機(jī)交互，開(kāi)始成為人機(jī)交互發(fā)展的重要趨勢(shì)。

在接受采訪時(shí)，OPPO小布助手首席架構(gòu)師萬(wàn)玉龍向《中國(guó)電子報(bào)》記者表示，當(dāng)深度學(xué)習(xí)算法在各技術(shù)方向逐漸趨于產(chǎn)業(yè)化，智能交互變得愈發(fā)重要。在這之后，傳感器、視覺(jué)技術(shù)、語(yǔ)音技術(shù)和自然語(yǔ)言處理技術(shù)等都進(jìn)行了迭代升級(jí)，多種技術(shù)的融合形成了多模態(tài)人機(jī)交互方式。

通過(guò)文字、語(yǔ)音、視覺(jué)的理解和生成，結(jié)合動(dòng)作識(shí)別和驅(qū)動(dòng)、環(huán)境感知等多種方式，多模態(tài)人機(jī)交互能夠充分模擬人與人之間的交互方式。萬(wàn)玉龍給記者舉例道，地鐵、銀行、商場(chǎng)等復(fù)雜環(huán)境下的服務(wù)類機(jī)器人就是結(jié)合傳感器、人臉識(shí)別、語(yǔ)音交互等技術(shù)來(lái)幫助人們完成信息查詢、購(gòu)票、商家導(dǎo)航等需求任務(wù)。

現(xiàn)階段，多模態(tài)人機(jī)交互領(lǐng)域最火的代表就是“虛擬人”了。萬(wàn)玉龍向記者表示，得益于元宇宙概念的大火，“虛擬人”這一元宇宙世界的“小切口”也得到了業(yè)界的廣泛關(guān)注。

2021年第三季度，OPPO推出智能助手小布的首個(gè)“虛擬人”版本，為“虛擬人”市場(chǎng)再添一把火。相關(guān)資料顯示，小布“虛擬人”涵蓋了視覺(jué)、語(yǔ)音、自然語(yǔ)言處理等多模態(tài)融合算法，采用多種基礎(chǔ)創(chuàng)新技術(shù)，可以實(shí)現(xiàn)與用戶在多個(gè)場(chǎng)景生態(tài)下的內(nèi)容服務(wù)、實(shí)時(shí)交互以及情感化交互。

作為多模態(tài)人機(jī)交互領(lǐng)域的重要成果之一，“虛擬人”背靠前端聲學(xué)處理、語(yǔ)音喚醒、語(yǔ)音識(shí)別、對(duì)話理解和管理、語(yǔ)音合成、計(jì)算機(jī)視覺(jué)和圖形學(xué)等技術(shù)支撐。萬(wàn)玉龍對(duì)記者談道，語(yǔ)音交互是在對(duì)話理解的基礎(chǔ)上，通過(guò)對(duì)話管理生成對(duì)應(yīng)的回復(fù)話術(shù)和內(nèi)容服務(wù)，結(jié)合語(yǔ)音合成技術(shù)（TTS）生成播報(bào)音頻；虛擬人多模態(tài)交互則需要在此基礎(chǔ)上，進(jìn)一步理解播報(bào)文本所蘊(yùn)含的表達(dá)信息，通過(guò)文本和語(yǔ)音分析，生成對(duì)應(yīng)表情、嘴形和動(dòng)作。

“除了嘴形以外，要想呈現(xiàn)出眼部、臉部的表情，以及我們說(shuō)話或者非常開(kāi)心時(shí)做出的動(dòng)作，都需要3D人物設(shè)計(jì)和建模，并實(shí)時(shí)的根據(jù)表達(dá)內(nèi)容預(yù)測(cè)人物身體各部位的驅(qū)動(dòng)參數(shù)，進(jìn)而結(jié)合渲染引擎實(shí)現(xiàn)對(duì)人物模型的驅(qū)動(dòng)?！比f(wàn)玉龍舉例道，比如某個(gè)人在說(shuō)“大”的時(shí)候，他的嘴型就會(huì)張得很大，然后說(shuō)字母“O”的時(shí)候嘴型會(huì)呈現(xiàn)出一個(gè)圓形。

為了讓智能助手變的更加智能，人機(jī)互動(dòng)過(guò)程還會(huì)涉及知識(shí)圖譜、內(nèi)容推薦等寬泛的技術(shù)領(lǐng)域。

AI學(xué)習(xí)還需要大量數(shù)據(jù)積累

現(xiàn)階段，虛擬人在三個(gè)環(huán)節(jié)上存在關(guān)鍵性的技術(shù)難點(diǎn)。萬(wàn)玉龍向《中國(guó)電子報(bào)》記者指出，第一，從形象生成來(lái)說(shuō)，用戶會(huì)越來(lái)越希望他們所構(gòu)建出來(lái)的“虛擬人”，在形象上顯得更加逼真，比如發(fā)絲、衣服的紋理等很細(xì)致入微的特點(diǎn)都能完美呈現(xiàn)。只有“虛擬人”真正像一個(gè)活生生的人站在用戶面前，用戶才能感覺(jué)到自己與虛擬人之間的距離被拉近。

“但要實(shí)現(xiàn)這一點(diǎn)，涉及的技術(shù)點(diǎn)其實(shí)非常多，處理起來(lái)會(huì)非常困難，且制作成本居高不下。”萬(wàn)玉龍對(duì)記者坦言。

第二，在形象驅(qū)動(dòng)方面，“虛擬人”的行動(dòng)需要呈現(xiàn)得更加流暢和自然，而不是像機(jī)器人那樣僵硬。人在交流表達(dá)的時(shí)候，不管是手、眼還是表情，所有的肢體動(dòng)作都是根據(jù)表達(dá)的內(nèi)容和情緒去變化的。但“虛擬人”想要達(dá)到這點(diǎn)，還需要更強(qiáng)大的AI機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。AI只有在學(xué)習(xí)了大量真人表情、肢體表達(dá)的數(shù)據(jù)之后，才會(huì)慢慢趨近于真人，但這是一個(gè)非常漫長(zhǎng)的過(guò)程。

第三，形象互動(dòng)對(duì)于虛擬人來(lái)說(shuō)尤為重要，因?yàn)椤疤摂M人”最大的賣點(diǎn)就在于互動(dòng)性。如果“虛擬人”不能為用戶提供自然、舒適的交互體驗(yàn)，用戶很快就會(huì)失去興趣。但這種互動(dòng)性的提升其實(shí)并不簡(jiǎn)單。比如，人在回答問(wèn)題時(shí)，通常會(huì)結(jié)合語(yǔ)句“上下文”，運(yùn)用自己的背景知識(shí)很快給出合適的答復(fù)。智能虛擬人助手則需要通過(guò)學(xué)習(xí)大量人跟人的對(duì)話數(shù)據(jù)，來(lái)構(gòu)建和豐富知識(shí)庫(kù)。這些數(shù)據(jù)的獲取并非易事，因?yàn)锳I學(xué)習(xí)所需的數(shù)據(jù)量十分龐大，且需要不斷更新，其中的難度不言而喻。而且，在獲得數(shù)據(jù)之后，AI還需要對(duì)獲取的數(shù)據(jù)進(jìn)行質(zhì)量把控和篩選，很難做到逐一排查。AI如果沒(méi)有辨別能力，在學(xué)習(xí)完數(shù)據(jù)之后很難對(duì)習(xí)得內(nèi)容進(jìn)行修改，所以有些不合時(shí)宜的語(yǔ)句很可能會(huì)對(duì)用戶造成不良影響。

另外，假設(shè)人們問(wèn)AI一個(gè)知識(shí)點(diǎn)，它也許會(huì)從知乎或者其他網(wǎng)站上選一個(gè)答案進(jìn)行反饋，但這就涉及知識(shí)產(chǎn)權(quán)的問(wèn)題，同時(shí)AI所學(xué)習(xí)到的知識(shí)也無(wú)法保證具有絕對(duì)專業(yè)性。比如，人們?cè)谏〉臅r(shí)候不能去詢問(wèn)智能虛擬人助手自己該吃什么藥，因?yàn)闊o(wú)法保證所獲取到的答案的專業(yè)性。如果“虛擬人”助手給出一個(gè)錯(cuò)誤的答案，人的健康可能會(huì)出現(xiàn)問(wèn)題。所以，“虛擬人”要想與用戶進(jìn)行無(wú)障礙且自然流暢的交流，還需要更多的技術(shù)積累與沉淀。

向具備更多應(yīng)用價(jià)值的領(lǐng)域拓展

盡管“虛擬人”在技術(shù)上尚存難點(diǎn)，但近年來(lái)的底層技術(shù)其實(shí)也在不斷進(jìn)步。萬(wàn)玉龍對(duì)《中國(guó)電子報(bào)》記者表示，不管是語(yǔ)音識(shí)別、對(duì)話理解、語(yǔ)音合成等語(yǔ)音交互技術(shù)，還是唇形驅(qū)動(dòng)、表情驅(qū)動(dòng)等多模態(tài)驅(qū)動(dòng)參數(shù)預(yù)測(cè)技術(shù)，建模流程和方案都在變得更加簡(jiǎn)單。

“從機(jī)器學(xué)習(xí)的模型層面來(lái)說(shuō)，算法的迭代已經(jīng)讓模型訓(xùn)練和調(diào)優(yōu)進(jìn)入到了‘門檻越來(lái)越低’的階段?！比f(wàn)玉龍表示。

算力的提升也會(huì)讓“虛擬人”形象更加接近真人。萬(wàn)玉龍對(duì)記者說(shuō)，手機(jī)等設(shè)備端的算力正變得越來(lái)越強(qiáng)，云端服務(wù)器的算力也在不斷增強(qiáng)，促使AI工程師們可以生成更加復(fù)雜、更加真實(shí)的人物形象。

2021年，英偉達(dá)CEO黃仁勛的一段“虛擬人”演講視頻風(fēng)靡全球，英偉達(dá)推出的Omniverse平臺(tái)進(jìn)一步走入大眾視野。據(jù)了解，Omniverse平臺(tái)是英偉達(dá)推出的實(shí)時(shí)3D設(shè)計(jì)協(xié)作和虛擬世界模擬平臺(tái)，旨在通過(guò)將圖形、AI、模擬和可擴(kuò)展計(jì)算整合到一個(gè)平臺(tái)上，成為連接虛擬世界的基礎(chǔ)。

萬(wàn)玉龍表示，借助自身強(qiáng)大的GPU算力，英偉達(dá)構(gòu)建了一個(gè)看上去比較真實(shí)的人物形象。這進(jìn)一步表明，目前的算力確實(shí)提升了一個(gè)臺(tái)階，算力的提高也讓超寫實(shí)人物的渲染變得更具可行性。一方面是對(duì)話式AI技術(shù)的不斷升級(jí)，另一方面就是虛擬人物的形象構(gòu)建能力越來(lái)越強(qiáng)，整個(gè)對(duì)話體驗(yàn)也變得更加智能，對(duì)話理解、知識(shí)圖譜等認(rèn)知能力的建設(shè)更上一層樓，助力“虛擬人”產(chǎn)品化的能力日益提升。

有人說(shuō)，汽車是下一代“移動(dòng)終端”，有望成為實(shí)現(xiàn)人機(jī)互動(dòng)、情感交互的移動(dòng)載體。那么，“虛擬人”是否有可能出現(xiàn)在智能座艙領(lǐng)域？

在萬(wàn)玉龍看來(lái)，不管是手機(jī)還是汽車，其實(shí)都可以被視為一個(gè)智能交互載體。OPPO推出的小布“虛擬人”目前的著力點(diǎn)主要還是在提升手機(jī)、電視、可穿戴設(shè)備等智能設(shè)備的交互體驗(yàn)。萬(wàn)玉龍表示，如果智能座艙等設(shè)備形成一定的規(guī)模之后，智能助手在這些設(shè)備中一定會(huì)有與用戶頻繁交互的機(jī)會(huì)，所以必然會(huì)產(chǎn)生一些場(chǎng)景應(yīng)用價(jià)值。只要是有應(yīng)用價(jià)值的領(lǐng)域，“虛擬人”的觸角其實(shí)都是可望又可及的。