日前，在NVIDIA GTC 2023大會(huì)上，多位來(lái)自快手的技術(shù)專(zhuān)家，展示了一系列前沿技術(shù)及解決方案：涵蓋了從視頻畫(huà)質(zhì)提升、數(shù)字人直播及互動(dòng)解決方案，到定制性能優(yōu)化新框架、針對(duì)大型推薦模型的性能優(yōu)化，以及多模態(tài)超大模型在短視頻場(chǎng)景落地等多個(gè)話(huà)題。

畫(huà)質(zhì)提升秘籍 視頻畫(huà)質(zhì)評(píng)估算法和畫(huà)質(zhì)修復(fù)增強(qiáng)方案

快手App每天都要產(chǎn)生數(shù)千萬(wàn)條新增UGC短視頻內(nèi)容。用戶(hù)發(fā)布一條視頻，只需要幾秒鐘，增加一些特效，也只需要簡(jiǎn)單幾個(gè)步驟。但鮮為人知的是，為了提供更加清晰的畫(huà)質(zhì)，每條短視頻在觸達(dá)用戶(hù)前都經(jīng)歷了重重“關(guān)卡”，這背后是快手技術(shù)團(tuán)隊(duì)持續(xù)的工程、算法技術(shù)積累。

快手音視頻圖像算法負(fù)責(zé)人孫明在《快手視頻質(zhì)量評(píng)價(jià)和畫(huà)質(zhì)增強(qiáng)解決方案》演講中提到，在一條短視頻從生產(chǎn)到消費(fèi)的整體鏈路上，與畫(huà)質(zhì)相關(guān)的主要有拍攝、編輯和服務(wù)端處理這三個(gè)階段。同時(shí)在下發(fā)到移動(dòng)端的過(guò)程中，視頻畫(huà)質(zhì)仍受制于網(wǎng)絡(luò)環(huán)境、帶寬成本、用戶(hù)端機(jī)型等因素影響。

為解決這個(gè)問(wèn)題，快手針對(duì)UGC視頻特性提出了視頻畫(huà)質(zhì)評(píng)估算法體系（KVQ）和畫(huà)質(zhì)修復(fù)增強(qiáng)方案（KRP/KEP）。兩者相輔相成，大幅提升了消費(fèi)側(cè)畫(huà)質(zhì)清晰度。

如何在有限的算力下盡可能把算法效果發(fā)揮到極致，實(shí)現(xiàn)降本增效？快手視頻質(zhì)量評(píng)價(jià)框架使用了AI方法來(lái)驅(qū)動(dòng)算法開(kāi)發(fā)。“早期我們建立了大量的內(nèi)部測(cè)試集，發(fā)現(xiàn)哪怕在數(shù)據(jù)較小的情況下，AI算法仍然比市面上的工具好用，所以后面的迭代主要圍繞在內(nèi)容多樣性、處理多樣性、codec多樣性三個(gè)問(wèn)題來(lái)解決?！睂O明表示。

快手畫(huà)質(zhì)修復(fù)“秘籍”

現(xiàn)如今KVQ已廣泛應(yīng)用于快手內(nèi)部多個(gè)業(yè)務(wù)場(chǎng)景中，如全鏈路質(zhì)量監(jiān)控、基于內(nèi)容的自適應(yīng)處理和編碼、搜索推薦等。同時(shí)，在StreamLake業(yè)務(wù)中，KVQ已經(jīng)實(shí)現(xiàn)商業(yè)化，并為業(yè)內(nèi)數(shù)家知名公司提供服務(wù)。

數(shù)字人直播及互動(dòng)解決方案 助力游戲營(yíng)銷(xiāo)

最近幾年，前沿技術(shù)的革新也逐漸帶動(dòng)了虛擬技術(shù)的升級(jí)。快手視覺(jué)互動(dòng)技術(shù)負(fù)責(zé)人簡(jiǎn)偉華分享的《快手 3D 數(shù)字人直播及互動(dòng)解決方案》，介紹了快手圍繞3D數(shù)字人，基于快手虛擬世界互動(dòng)平臺(tái)KMIP和快手虛擬演播助手KVS，在直播、社交等領(lǐng)域進(jìn)行的系列實(shí)踐。

以游戲場(chǎng)景為例，數(shù)字人主播使用快手虛擬演播助手（KVS），以3D形象參與到游戲中，除了自己體驗(yàn)并講解游戲玩法外，用戶(hù)也可以在主播的引導(dǎo)下與之進(jìn)行互動(dòng)，從而參與游戲進(jìn)程與結(jié)果，甚至可通過(guò)打賞等方式入場(chǎng)，以沉浸式第一人稱(chēng)視角操控角色。

在技術(shù)的加持下，快手站內(nèi)參與主題游戲虛擬世界互動(dòng)的中小主播營(yíng)收增加了50%以上，直播間付費(fèi)率提升了2倍以上；帶貨方面，情人節(jié)期間，快手官方聯(lián)合多位快手虛擬主播進(jìn)行的直播帶貨共計(jì)4245萬(wàn)人觀看，最高同時(shí)在線(xiàn)達(dá)到3萬(wàn)多人，300萬(wàn)人互動(dòng)。

快手稱(chēng)，希望以3D數(shù)字人的技術(shù)棧支持主播和游戲宣發(fā)生態(tài)，實(shí)現(xiàn)多端打通，游戲營(yíng)銷(xiāo)的同時(shí)助力直播間個(gè)性化互動(dòng)內(nèi)容的生產(chǎn)，與平臺(tái)進(jìn)行深度聯(lián)動(dòng)。用戶(hù)也可直接參與互動(dòng)，這樣一來(lái)，快手既承接了獲取流量的部分，也賦予了游戲平臺(tái)新的互動(dòng)形式。

快手定制性能優(yōu)化新框架

在針對(duì)更深層次的算法與模型優(yōu)化方面，快手算法引擎專(zhuān)家門(mén)春雷在《基于TensorRT的端到端子圖優(yōu)化框架》的演講中進(jìn)行詳細(xì)闡述，詳細(xì)介紹了為用戶(hù)提供更便捷服務(wù)的迭代技術(shù)。

據(jù)了解，NVIDIA TensorRT是一個(gè)高性能的SDK，用于優(yōu)化通用模型的推理性能?？焓諥I預(yù)估系統(tǒng)廣泛采用 TensorRT 進(jìn)行加速計(jì)算，然而，工業(yè)模型中有一些非通用子圖，仍存在優(yōu)化空間。

門(mén)春雷介紹，為了優(yōu)化這些非通用子圖，快手技術(shù)團(tuán)隊(duì)專(zhuān)門(mén)設(shè)計(jì)了一種利用AI編譯器優(yōu)化子圖的端到端框架。具體來(lái)說(shuō)，該框架會(huì)自動(dòng)分析和裁剪ONNX-Graph中存在性能瓶頸的子圖，利用AI編譯器對(duì)其進(jìn)行優(yōu)化，并生成代碼以填充到TensorRT插件中。這樣，基于TensorRT的二次開(kāi)發(fā)，能夠進(jìn)一步提升服務(wù)吞吐，節(jié)省計(jì)算資源。

針對(duì)大型推薦模型的性能優(yōu)化

作為頭部短視頻平臺(tái)，快手日活用戶(hù)達(dá)3.6億，日均時(shí)長(zhǎng)超129分鐘。推薦服務(wù)在短視頻、廣告、電商等多項(xiàng)業(yè)務(wù)中都發(fā)揮著重要作用。

軟件架構(gòu)師梁瀟在《針對(duì)大型推薦模型的性能優(yōu)化》的演講中表示，面對(duì)推薦時(shí)效性強(qiáng)和模型過(guò)于龐大的問(wèn)題，快手通過(guò)平衡 CPU和GPU的工作負(fù)載來(lái)優(yōu)化整個(gè)系統(tǒng)，所有的工作都在同一臺(tái)服務(wù)器上完成。這樣做既非常易于部署，也能同時(shí)充分利用CPU和GPU資源。

方案的實(shí)現(xiàn)關(guān)鍵是將部分負(fù)載轉(zhuǎn)移到GPU上。為了做到這一點(diǎn)，首先要深度優(yōu)化CPU算法，并且提升模型在GPU上推理的效率，推理所需的時(shí)間越少,就意味著有更多的GPU算力可以用來(lái)承載從CPU上遷移的算法。此外，技術(shù)團(tuán)隊(duì)還嘗試在GPU端緩存數(shù)據(jù)，從而減少對(duì)DRAM的訪(fǎng)問(wèn)量。

這些優(yōu)化的動(dòng)作使GPU利用率從20%左右大幅提高到近90%，吞吐量提高了十倍以上，能夠幫助平臺(tái)在成本可控的情況下，把效果發(fā)揮到極致，更好地為用戶(hù)提供優(yōu)質(zhì)服務(wù)。

ChatGPT熱潮下 加速多模態(tài)超大模型在短視頻場(chǎng)景落地應(yīng)用

今年以來(lái)，ChatGPT持續(xù)火爆，讓其背后的多模態(tài)大模型技術(shù)受到更多關(guān)注，也為行業(yè)帶來(lái)了諸多AI大模型技術(shù)研究熱潮。超大模型和超級(jí)算力結(jié)合加速了技術(shù)的應(yīng)用，大模型已經(jīng)從自然語(yǔ)言處理擴(kuò)展到計(jì)算機(jī)視覺(jué)、多模態(tài)領(lǐng)域等。

在《多模態(tài)超大模型短視頻場(chǎng)景落地應(yīng)用》這一演講中，張勝卓、韓青長(zhǎng)、李杰三位技術(shù)專(zhuān)家介紹，為了解決大模型應(yīng)用中共性問(wèn)題，快手開(kāi)展技術(shù)攻關(guān)，沉淀了通用的混合并行訓(xùn)練、推理優(yōu)化和模型部署整套解決方案。該方案已在快手的多個(gè)場(chǎng)景落地，以較低的資源成本取得了顯著的業(yè)務(wù)收益。

快手技術(shù)團(tuán)隊(duì)稱(chēng)，通過(guò)研究發(fā)現(xiàn)，訓(xùn)練時(shí)間漫長(zhǎng)、推理效率過(guò)低、部署相對(duì)復(fù)雜是多模態(tài)超大模型工程應(yīng)用的三大攔路虎。為全鏈路解決上述問(wèn)題，快手圍繞提高模型計(jì)算效率和可部署開(kāi)展技術(shù)攻關(guān)，沉淀了通用的混合并行訓(xùn)練、推理優(yōu)化和模型部署整套解決方案。

據(jù)悉，目前多模態(tài)超大模型已在快手的多個(gè)場(chǎng)景落地，以較低的資源成本推動(dòng)業(yè)務(wù)開(kāi)展，探索出了大模型從訓(xùn)練到落地的技術(shù)路徑。同時(shí)，結(jié)合快手海量的視頻資源和多媒體場(chǎng)景，多模態(tài)超大模型可以利用多模態(tài)特征構(gòu)建通用理解能力，應(yīng)用于推薦、廣告、搜索、電商等核心業(yè)務(wù)。

在ChatGPT和GPT-4帶動(dòng)下，AIGC大火。隨著AI技術(shù)的進(jìn)一步發(fā)展，大模型以及多模態(tài)模型的商業(yè)化應(yīng)用將進(jìn)一步加速。十年磨一劍，諸如快手等科技巨頭，將憑借多年提煉的技術(shù)“秘籍”，持續(xù)賦能億萬(wàn)用戶(hù)。快手內(nèi)部文檔請(qǐng)勿外傳