DeeCamp2019人工智能訓(xùn)練營在北京中國科學(xué)院大學(xué)雁棲湖校區(qū)舉辦全國成果展示暨結(jié)營儀式。快手發(fā)起的實踐課題“挑戰(zhàn)快手小游戲AI”、“端上AI助你走進名畫”分別獲得DeeCamp2019最佳團隊獎、最佳技術(shù)獎。

DeeCamp人工智能訓(xùn)練營由教育部、創(chuàng)新工場、北京大學(xué)聯(lián)合主辦，今年有超過1萬人次報名，最終600名學(xué)生入選。4周的時間內(nèi)，學(xué)員接受了頂級 AI 大牛導(dǎo)師的「學(xué)術(shù)+產(chǎn)業(yè)」課程培訓(xùn)，共計完成了 50 個 AI 實踐課題。

“挑戰(zhàn)快手小游戲AI”獲最佳團隊獎

4周時間，學(xué)員們完成了由 22 家企業(yè)發(fā)起的 50 個 AI 相關(guān)課題，接受了總計 115 位來自企業(yè)的技術(shù)負責(zé)人和工程師的課題輔導(dǎo)。實踐課題全部基于真實世界場景精心設(shè)計，力求貼近產(chǎn)業(yè)一線需求、提高學(xué)生動手能力。其中4個課題為快手發(fā)起，包括挑戰(zhàn)快手小游戲AI、端上AI助你走進名畫、多模態(tài)AI音樂生成、質(zhì)量感知的媒體傳輸優(yōu)化。結(jié)營儀式當(dāng)天，“挑戰(zhàn)快手小游戲AI”獲得最佳團隊獎，“端上AI助你走進名畫”獲得最佳技術(shù)獎。

斗地主要解決的是不完美信息下博弈問題，是要在無法看見其他玩家手牌的前提下，對游戲中的14種合法牌型、13551種合法出牌、10的30次方的狀態(tài)空間和10的85次方的游戲樹進行全面考慮，整體難度較高。從技術(shù)角度看，該項目將游戲領(lǐng)域內(nèi)的領(lǐng)先核心算法應(yīng)用到斗地主中；其次，結(jié)合RankSVM思路，設(shè)計了新的斗地主監(jiān)督學(xué)習(xí)模型；小組還設(shè)計了多個強化學(xué)習(xí)模型，使用強化學(xué)習(xí)進行多模型融合。

項目團隊沒有一味追求勝率，通過調(diào)試做到一個和人類玩家相似的勝率結(jié)果，更加擬人化。當(dāng)人類與人類對戰(zhàn)時，人類作為地主的勝率為52.4%、作為農(nóng)民的勝率為47.8%；而該項目小組研發(fā)的AI在與人類進行對戰(zhàn)時，AI作為地主的勝率為58.6%、作為農(nóng)民的勝率為41%。

快手導(dǎo)師：學(xué)員們的探索性方法帶來驚喜

快手游戲聯(lián)合實驗室提供了此次“挑戰(zhàn)快手小游戲AI”的課題，并指導(dǎo)學(xué)員完成此次實踐課題。該課題給學(xué)員提供了一個設(shè)計游戲AI從0到1的完整歷程，學(xué)員能體驗到跟自己設(shè)計的AI共同成長的默契。快手游戲聯(lián)合實驗室，致力于利用人工智能技術(shù)全面賦能游戲，使用戶獲得更佳的游戲體驗，同時進行前沿的人工智能技術(shù)研究及應(yīng)用。

“不完美信息博弈是非常有挑戰(zhàn)的AI難題，學(xué)員們產(chǎn)出的探索性結(jié)果和方法也給我們帶來了驚喜，我們會加大投入探索不完美信息博弈的游戲”。 快手游戲聯(lián)合實驗室劉霽介紹說，不完美信息博弈是非常挑戰(zhàn)的AI難題，斗地主AI的難題在于它是一個3人游戲；兩人組隊合作跟另外一個人博弈，如何組隊，以及隊內(nèi)信息又是不共享的，這使得斗地主的博弈問題更加復(fù)雜；既需要算法的精巧設(shè)計，又需要高效得利用算力。

快手導(dǎo)師迅速幫助學(xué)員們抓住課題重點，從叫牌階段策略，出牌過程策略，預(yù)測對方牌型等側(cè)重點進行指導(dǎo)。利用游戲AI的經(jīng)驗，初步提供了不同的AI模型在游戲中的基本能力和實現(xiàn)效果，強調(diào)了非全信息下的博弈難度，便于學(xué)員們進行理解和選擇，學(xué)員在2天的時間內(nèi)快速確定了最終的開發(fā)框架。

因為斗地主是不完美信息博弈沒有成功的經(jīng)驗可以借鑒，快手導(dǎo)師指導(dǎo)團隊制定一個套多模型融合的策略，把基于規(guī)則的AI，基于強化學(xué)習(xí)的AI，基于蒙特卡洛搜索的AI（Alphago的思路），基于CFR的AI（德州撲克的思路），以及基于模仿學(xué)習(xí)的AI通過一個整體的強化學(xué)習(xí)AI融合一起。時間緊任務(wù)又有挑戰(zhàn)的情況下，快手導(dǎo)師提供了對每一種AI設(shè)計方案方向性的指導(dǎo)并且參與細節(jié)的討論，最終學(xué)員圓滿完成課題。

快手游戲聯(lián)合實驗室于明澤介紹說，這次的課題在學(xué)術(shù)上存在挑戰(zhàn)，有助于推動產(chǎn)學(xué)研結(jié)合?？焓钟螒蚵?lián)合實驗室提供了豐富的AI應(yīng)用場景，比如驗證游戲核心玩法、文字音頻圖形的AI處理、數(shù)據(jù)分析、個性化決策、自動推薦等。游戲環(huán)境是全數(shù)字環(huán)境，便于訓(xùn)練數(shù)據(jù)的采集，利于技術(shù)的落地。此外，游戲本身是強商業(yè)化的方向，更容易創(chuàng)造出兼具學(xué)術(shù)意義和商業(yè)價值的產(chǎn)品。