近日，2021全球人工智能技術(shù)大會(huì)在杭州召開。本次大會(huì)匯集來自世界各地的人工智能領(lǐng)域?qū)＜遥餐瑸槿斯ぶ悄艿奈磥戆l(fā)展建言獻(xiàn)策。在6月5日召開的計(jì)算機(jī)視覺專題論壇上，快手Y-tech部門AI技術(shù)平臺(tái)負(fù)責(zé)人萬鵬飛受邀發(fā)表了題為《短視頻UGC智能創(chuàng)作中的計(jì)算機(jī)視覺技術(shù)》的演講，從產(chǎn)業(yè)的角度分享了計(jì)算機(jī)視覺技術(shù)在短視頻智能創(chuàng)作方向的應(yīng)用和發(fā)展趨勢。

快手深耕短視頻內(nèi)容創(chuàng)作生態(tài)，UGC智能創(chuàng)作降本增效

作為國民短視頻社區(qū)，快手用戶日均使用時(shí)長99.3分鐘，整體日活達(dá)3.792億。在龐大的用戶與流量基礎(chǔ)上，快手形成了富有活力的內(nèi)容創(chuàng)作生態(tài)，平臺(tái)內(nèi)有300億+原創(chuàng)視頻庫存，每月新增創(chuàng)作者1000w+。其中大部分內(nèi)容是廣大普通用戶創(chuàng)作的，即UGC（User Generated Content）。據(jù)萬鵬飛介紹，UGC強(qiáng)調(diào)人機(jī)協(xié)同，內(nèi)容創(chuàng)作的主體是人，技術(shù)輔助人做創(chuàng)作；智能創(chuàng)作則強(qiáng)調(diào)技術(shù)有一定的自動(dòng)化能力，可在內(nèi)容創(chuàng)作中起到“降本增效”的作用。對(duì)應(yīng)到實(shí)際產(chǎn)品中，快手系產(chǎn)品的UGC智能創(chuàng)作主要涵蓋了三大類功能：人像美化功能、影音特效功能和獨(dú)立創(chuàng)作工具。

人像美化功能：快手的人像美化功能包括美顏、美型、美體、美妝、濾鏡、畫質(zhì)增強(qiáng)等。除經(jīng)典的基于圖形圖像處理的技術(shù)方案外，快手將基于深度學(xué)習(xí)的CV技術(shù)融入到了人像美化中，大幅提升了用戶體驗(yàn)。例如用神經(jīng)網(wǎng)絡(luò)來提高人像照片的畫質(zhì)或讓照片中的人更年輕，以及通過環(huán)境光照估計(jì)使美妝效果在實(shí)際場景中更加自然等。

影音特效功能：除了常見的各種人臉AR裝飾外，特效功能的含義非常廣泛，包括但不限于各種玩法道具、貼紙動(dòng)效、視頻模板和小游戲等。例如萬物AR玩法是用攝像頭掃描通用物體并觸發(fā)效果（如讓濕紙巾跳舞），活照片玩法可以使一張圖按照特定方式動(dòng)起來（如前陣子很火的“螞蟻呀嘿”），這些都是特效技術(shù)的范圍。

獨(dú)立創(chuàng)作工具：快手此前已經(jīng)推出“快影”和“一甜相機(jī)”等多款受歡迎的工具產(chǎn)品幫助用戶進(jìn)行視頻和圖像的專業(yè)創(chuàng)作，最近還剛發(fā)布了一款主打高清修圖的“原片”app。除這些產(chǎn)品外，此次大會(huì)上萬鵬飛重點(diǎn)介紹了另外兩個(gè)比較特別的獨(dú)立創(chuàng)作工具。

第一個(gè)是虛擬偶像創(chuàng)建和開播工具—A站面捕助手，用戶能以很低的成本創(chuàng)造自己的虛擬形象，并讓虛擬形象跟著自己動(dòng)起來，進(jìn)行直播互動(dòng)和內(nèi)容生產(chǎn)。大大降低了普通人或商家擁有和運(yùn)營屬于自己的虛擬偶像的門檻。

第二個(gè)是快手特效開放平臺(tái)—必?fù)P特效平臺(tái)，在這個(gè)平臺(tái)上，人們可以設(shè)計(jì)和創(chuàng)造自己的特效玩法，發(fā)布到快手讓更多人體驗(yàn)，并可獲得平臺(tái)激勵(lì)。通過這個(gè)方式，短視頻平臺(tái)、特效創(chuàng)作者、特效消費(fèi)者形成了一個(gè)互利共贏的生態(tài)。

CV技術(shù)助力快手短視頻智能創(chuàng)作，五大變化傳達(dá)技術(shù)發(fā)展趨勢

短視頻UGC智能創(chuàng)作各種功能的實(shí)現(xiàn)大多依托于（但不僅限于）計(jì)算機(jī)視覺技術(shù)，即CV技術(shù)。在演講中，萬鵬飛從產(chǎn)業(yè)應(yīng)用的角度，按照人體感知與重建技術(shù)、環(huán)境感知與重建技術(shù)、像素級(jí)語義分析、生成式技術(shù)和多模態(tài)技術(shù)這五個(gè)技術(shù)方向進(jìn)行了介紹。

人體/環(huán)境感知與重建技術(shù)：感知和重建是智能創(chuàng)作的重要前提，也是CV領(lǐng)域的重要課題。主要包括點(diǎn)/框檢測、物體/場景識(shí)別、動(dòng)作捕捉、VO/SLAM、3D重建等，這些基礎(chǔ)CV技術(shù)有力保障了快手用戶的創(chuàng)作體驗(yàn)。

像素級(jí)語義分析：這方面用途最廣的是分割技術(shù)，俗稱摳圖。除了比較常見的人像分割外，萬鵬飛展示了一個(gè)快手實(shí)時(shí)天空分割的案例，不論是窗戶的遮擋，還是建筑與天空的連接處，都分割得非常細(xì)膩。除各種分割摳圖外，有時(shí)候也需要對(duì)畫面中的其他語義信息進(jìn)行分析，如深度和法線等。

生成式技術(shù)：以生成判別網(wǎng)絡(luò)（GAN）為代表的生成式技術(shù)是近幾年非?；馃岬恼n題。生成式技術(shù)除了可以做各種好玩的特效外（如“童話臉”特效），其應(yīng)用已深入到智能內(nèi)容創(chuàng)作的方方面面。例如傳統(tǒng)的染發(fā)效果是在頭發(fā)上疊加一層顏色，效果很假。用生成式技術(shù)染出來的頭發(fā)，則更像是現(xiàn)實(shí)中實(shí)際染上去的效果。

多模態(tài)技術(shù)：現(xiàn)實(shí)世界中人們感受和表達(dá)信息大多是多模態(tài)的。一個(gè)短視頻，不只有畫面，還有聲音、文本信息等，因此UGC智能創(chuàng)作也應(yīng)該對(duì)多模態(tài)信息進(jìn)行聯(lián)合建模。在智能創(chuàng)作方面，多模態(tài)技術(shù)的落地場景有很多，包括為短視頻配樂、配文案，圖文轉(zhuǎn)視頻，以及文字生成畫面等。

以上這些技術(shù)在實(shí)際落地中會(huì)面臨很多挑戰(zhàn)，包括如何保證算法在各種不同的機(jī)型上都能發(fā)揮最好的算法效果且保證運(yùn)行流暢。如何保證用戶在各種使用場景中能保證算法的魯棒性等。這些都是CV技術(shù)在實(shí)際業(yè)務(wù)落地時(shí)必須考慮和解決的問題。

在演講的最后，萬鵬飛展望了短視頻UGC智能創(chuàng)作技術(shù)未來發(fā)展的五大趨勢：“首先是從單模態(tài)到多模態(tài)，利用多模態(tài)信息進(jìn)行智能創(chuàng)作；第二，生成模型會(huì)越來越強(qiáng)大。生成的內(nèi)容更加逼真，且生成的過程更加穩(wěn)定可控；第三，內(nèi)容形態(tài)走向虛實(shí)融合。虛擬與現(xiàn)實(shí)的邊界變得模糊，混合現(xiàn)實(shí)技術(shù)很有前景；第四，從輔助制作到輔助創(chuàng)意，技術(shù)需要幫助人們解決內(nèi)容創(chuàng)作中的創(chuàng)意瓶頸問題；最后，計(jì)算模式將走向云邊端聯(lián)合計(jì)算，強(qiáng)大的計(jì)算能力將為用戶解鎖更多更智能的創(chuàng)作體驗(yàn)” 。