秒變娃娃臉，技術(shù)應(yīng)用又有新突破。

而且相比P圖后“變臉”，這次是拍攝短視頻時(shí)終端實(shí)時(shí)進(jìn)行“變臉”，上至萬(wàn)把元的iPhone下至千元安卓機(jī)，都能體驗(yàn)，甚至沒(méi)有網(wǎng)絡(luò)也OK。

你可能沒(méi)想到，這次引領(lǐng)全球技術(shù)之先的是中國(guó)公司快手。

沒(méi)錯(cuò)，就是老鐵雙擊666的快手。

秒變童顏

在其最新迭代的版本中，拍攝頁(yè)面上線了名為“變小孩”的魔法表情。

拍攝界面選擇該表情進(jìn)行短視頻拍攝，就能秒變童顏，實(shí)現(xiàn)娃娃臉的樣子——一千個(gè)老鐵，有一千個(gè)娃娃臉老鐵的樣子。

比如這樣：

 這樣：

以及這樣：

上手簡(jiǎn)單，看起來(lái)也好玩，但稍懂技術(shù)原理，就知道實(shí)現(xiàn)這樣的應(yīng)用和效果，實(shí)際非常不簡(jiǎn)單。

核心是依靠GAN——對(duì)抗生成網(wǎng)絡(luò)。

這次不僅國(guó)內(nèi)首個(gè)實(shí)現(xiàn)端上實(shí)時(shí)GAN，也是全球范圍內(nèi)第一次實(shí)現(xiàn)iOS安卓多平臺(tái)、全機(jī)型覆蓋的視頻實(shí)時(shí)GAN，甚至出于技（lao）術(shù)（ban）實(shí)（yao）力（qiu），快手AI工程師們還實(shí)現(xiàn)了“斷網(wǎng)”壯舉——沒(méi)有網(wǎng)絡(luò)狀態(tài)也能用。

這是完全終端本地化的實(shí)現(xiàn)AI能力，是包含Google在內(nèi)的AI頭雁公司才有的追求。

并且相比翻譯、語(yǔ)音識(shí)別，視覺(jué)和實(shí)時(shí)視頻，對(duì)于終端算力、內(nèi)存資源、模型訓(xùn)練和壓縮要求都更為嚴(yán)苛，除了要投入資源攻堅(jiān)，還得頂著用戶(hù)體驗(yàn)的壓力，最后在各種各樣的終端用戶(hù)場(chǎng)景中接受檢驗(yàn)。

挑戰(zhàn)其實(shí)不小。

但可以直接帶來(lái)的效益，值得直面這份挑戰(zhàn)。魔表上線3天即到百萬(wàn)使用量。

實(shí)時(shí)變臉的潮與難

或許你也多少留意到了，“變臉”、“換臉”在全世界掀起了一股新風(fēng)尚。

除了沒(méi)有證據(jù)但可能在開(kāi)車(chē)的各類(lèi)deepfakes，從圖片到視頻，從變老、男變女、女變男，返老孩童，全球網(wǎng)友玩得不亦樂(lè)乎。

簡(jiǎn)單回顧起來(lái)，最初在視頻中推出實(shí)時(shí)“娃娃臉”的是Snapchat。

在今年5月，這個(gè)海外社交應(yīng)用推出了該新功能，研發(fā)打造時(shí)長(zhǎng)一年之久。

但效果也立竿見(jiàn)影，一經(jīng)發(fā)布，日活大漲10%。

其后還間接帶火了俄羅斯變臉應(yīng)用FaceApp，很多明星和普通人，開(kāi)始借助應(yīng)用看到自己老去、還童的效果。

但放眼全球，能夠跟上這種技術(shù)風(fēng)潮的也不算多。

而且從Snapchat和FaceApp，也能看出技術(shù)實(shí)現(xiàn)之挑戰(zhàn)。

一方面，實(shí)時(shí)視頻幾乎不能覆蓋全機(jī)型全平臺(tái)——Snapchat就只能在iOS支持。

另一方面必須依靠云端訓(xùn)練和效果實(shí)施，對(duì)網(wǎng)絡(luò)狀況要求也很高。這帶來(lái)的小插曲是美國(guó)議員呼吁封殺FaceApp，因?yàn)樯蟼髡掌皆贫?，?huì)讓俄羅斯侵害美國(guó)人隱私。

而快手選擇做端上實(shí)時(shí)“變臉”，目標(biāo)是能給所有用戶(hù)帶去更潮的短視頻玩法。但除了技術(shù)上的難要解決，留給快手Y-tech技術(shù)小分隊(duì)的時(shí)間只有一個(gè)多月的時(shí)間。

沒(méi)錯(cuò)，一個(gè)多月，打完Snapchat一年的仗。

“娃娃臉”背后技術(shù)

其實(shí)早在18年4月份，快手已經(jīng)在端側(cè)實(shí)現(xiàn)了“變老”的功能效果。

但從技術(shù)而言，“變老”和“娃娃臉”的難度，不可相提并論。

通俗點(diǎn)說(shuō)，“變老”不需要改變?nèi)四樈Y(jié)構(gòu)，可以通過(guò)貼妝方式實(shí)現(xiàn)，娃娃臉的人臉結(jié)構(gòu)有很大變化，在五官細(xì)節(jié)上也和成人有很微妙的差別，而且千人千面，難以用傳統(tǒng)貼妝方法實(shí)現(xiàn)。

另外，“娃娃臉”效果，P圖和實(shí)時(shí)視頻的挑戰(zhàn)也不一樣。

視頻所追求的，是在沒(méi)有人為干預(yù)的條件下，快速生成效果逼真的娃娃臉。

進(jìn)而也就有兩大挑戰(zhàn)必須解決：

一是需要機(jī)器根據(jù)每個(gè)人的臉部特征自動(dòng)生成圖像，而且不能有手工P圖的痕跡。

二是要在手機(jī)端實(shí)時(shí)做到臉部圖像生成。手機(jī)端的算力以及內(nèi)存資源有限，在有限算力以及內(nèi)存資源支持條件下完成這些任務(wù)，任務(wù)艱巨。

這些挑戰(zhàn)，也是Snapchat在iOS實(shí)現(xiàn)而無(wú)法全平臺(tái)全機(jī)型覆蓋的原因——iPhone的算力和資源，算是最上層的。

但中國(guó)實(shí)際情況，以及快手的用戶(hù)而言，安卓用戶(hù)占比不低，而且安卓機(jī)型種類(lèi)較多，不同機(jī)型算力和內(nèi)存資源差異較大，因此完成實(shí)時(shí)視頻變“娃娃臉”，在快手這里產(chǎn)品需求有了更明確定義：

設(shè)計(jì)一個(gè)能夠覆蓋高、中、低不同機(jī)型的解決方案。

于是，快手技術(shù)團(tuán)隊(duì)采取了差異化的AI模型生成方案，針對(duì)不同機(jī)型，采用相應(yīng)解決方案。

對(duì)于算力較高的機(jī)型，可以讓AI模型做更多的工作，比如生成的圖像范圍更廣，細(xì)節(jié)更清晰。

對(duì)于算力較低的機(jī)型，可以把一部分AI模型的工作拆出來(lái)用傳統(tǒng)的方法去解決。

然而總體還有一點(diǎn)，不管算力高低，最后到用戶(hù)使用中，都得實(shí)現(xiàn)GAN的“秒變”，這也就意味著算力再低，也要有高質(zhì)量的AI算法實(shí)現(xiàn)——挑戰(zhàn)和能力都暗含其中了。

最后，對(duì)于快手來(lái)說(shuō)還有一項(xiàng)潛在挑戰(zhàn)：網(wǎng)絡(luò)。

一方面是用戶(hù)體驗(yàn)上的考量，實(shí)時(shí)效果對(duì)延遲要求很高，服務(wù)端計(jì)算增加的網(wǎng)絡(luò)延遲對(duì)于實(shí)時(shí)應(yīng)用來(lái)說(shuō)非常顯著——用戶(hù)需要等待，體驗(yàn)的效果滯后。

另一方面，如果用戶(hù)還位于偏遠(yuǎn)山區(qū)，手機(jī)信號(hào)和網(wǎng)絡(luò)不好，體驗(yàn)就會(huì)變得非常糟糕。

所以從一開(kāi)始，快手技術(shù)團(tuán)隊(duì)對(duì)這款特效的目標(biāo)就定成了達(dá)到“手機(jī)斷網(wǎng)”也能用。

因此所有算法操作，都在手機(jī)端完成，不需要把用戶(hù)拍攝的圖像或視頻傳到后端服務(wù)器做算法處理。

用一個(gè)小小手機(jī)，完成了算力強(qiáng)大的服務(wù)器才能做到的事，這是快手技術(shù)團(tuán)隊(duì)在“娃娃臉”功能上秀出的實(shí)力。

而且這只是實(shí)力的冰山一角，后臺(tái)深藏的是驅(qū)動(dòng)快手產(chǎn)品向前的基礎(chǔ)引擎。

技術(shù)積累之力

正所謂水滴石穿非一日之功。

快手此次能夠引領(lǐng)全球技術(shù)應(yīng)用之先，快手自研的YCNN深度學(xué)習(xí)推理引擎、定制化模型壓縮算法都是幕后功臣。

正是基于內(nèi)部自研的壓縮模型，才能在考量各種邊界條件、有限的計(jì)算以及內(nèi)存資源條件下，依然把模型的計(jì)算量降到最小，同時(shí)又不影響算法效果。

而快手端上深度學(xué)習(xí)推理引擎，為娃娃臉?biāo)惴涞靥峁┝擞辛χС帧?/p>

這個(gè)取名YCNN的深度學(xué)習(xí)推理引擎，之前介紹快手AI時(shí)也多次提到。

這是快手自研的、支持多平臺(tái)的、深度優(yōu)化的神經(jīng)網(wǎng)絡(luò)推理引擎，是快手很多AI功能的強(qiáng)大加速器，支持包括不限于NEON、SSE、Metal、NPU，OpenCL，OpenGLES的優(yōu)化方法和技術(shù)。

在這次“娃娃臉”功能里，針對(duì)移動(dòng)平臺(tái)尤其是低端安卓機(jī)計(jì)算能力較弱的特點(diǎn)，YCNN引擎在定點(diǎn)化推理方面的優(yōu)化，提出了低功耗高性能的解決方案。

實(shí)際上，近幾年來(lái)，在深度學(xué)習(xí)研究領(lǐng)域，GAN等模型被廣泛的應(yīng)用到解決各種問(wèn)題上，但像快手這樣堅(jiān)持打造核心基礎(chǔ)引擎，并最終讓產(chǎn)品功能受益，讓終端用戶(hù)受益的，并不多。

而且也由于產(chǎn)品落地和應(yīng)用的成功，技術(shù)上的難度和積累少為人知。

實(shí)際上，讓擁有不同手機(jī)機(jī)型的每一個(gè)老鐵，能夠無(wú)差別享受高算力AI技術(shù)帶來(lái)的樂(lè)趣，背后是極其強(qiáng)大的技術(shù)團(tuán)隊(duì)的付出。

但這樣的團(tuán)隊(duì)，也有委屈的時(shí)候。在最近快手首次召開(kāi)的技術(shù)OpenDay上，有校招學(xué)生透露“因?yàn)榧依锶?、朋友覺(jué)得快手Low而表達(dá)過(guò)不想讓他們選擇來(lái)快手工作”。

如果能夠全面了解一下快手，了解下快手的普惠價(jià)值觀，以及通過(guò)這家公司的努力給普通人的生活帶來(lái)的改變，相信他們的想法會(huì)改變。只有全面的了解之后，才能做出客觀的判斷。

那如果更深入了解端上GAN的進(jìn)展突破呢？知曉“本地化無(wú)網(wǎng)絡(luò)”也能應(yīng)用AI模型呢？或者更進(jìn)一步知道壓縮模型和推理引擎的強(qiáng)悍……

可能是時(shí)候給予快手以及快手的技術(shù)更多正名了。

并且在技術(shù)可能加劇資源、地區(qū)和發(fā)展不平等的今天，快手能通過(guò)終端產(chǎn)品讓每一個(gè)用戶(hù)無(wú)差別感受技術(shù)的樂(lè)趣、感知不一樣的世界，還幫助更多偏遠(yuǎn)地區(qū)加速商業(yè)化提升收入，善莫大焉。

把技術(shù)推向更前沿值得感嘆，用前沿技術(shù)打造接地氣的、普惠的產(chǎn)品，值得贊美。

你說(shuō)呢？

Last but not least，做出這款特效的技術(shù)團(tuán)隊(duì)是快手的Y-tech團(tuán)隊(duì)，這里也特別傳送門(mén)一下：

快手Y-tech，是快手在人工智能等前沿領(lǐng)域的探索者和先行者，以研發(fā)前沿科技、提升用戶(hù)體驗(yàn)、創(chuàng)造用戶(hù)價(jià)值為使命，致力于在計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí) 、深度學(xué)習(xí)和計(jì)算機(jī)圖形學(xué)等領(lǐng)域開(kāi)展技術(shù)研究和業(yè)務(wù)落地。

研究的技術(shù)方向還包括圖像處理、人臉識(shí)別、多媒體技術(shù)、SLAM/AR/VR/MR、三維重建、優(yōu)化算法，推薦，ranking，game AI, 機(jī)器學(xué)習(xí)平臺(tái)，數(shù)據(jù)庫(kù)，數(shù)據(jù)分析，強(qiáng)化學(xué)習(xí)等。