“讓Minecraft變成AI界的奧林匹克運(yùn)動(dòng)會(huì)，這個(gè)想法非常棒。”

微軟的Project Malmo項(xiàng)目開始于2015年6月份，其前身為Project AIX，該項(xiàng)目是基于Minecraft的一個(gè)成熟的AI實(shí)驗(yàn)平臺(tái)，旨在支持人工智能領(lǐng)域的基礎(chǔ)研究工作。Project Malmo平臺(tái)由兩個(gè)部分組成：Java版的游戲模組和幫助AI智能體感知和行動(dòng)的代碼。這兩個(gè)部分都可以在Windows、Linux或者 Mac OS環(huán)境下運(yùn)行，研究人員可以使用任何一種語言來對(duì)其中的AI智能體進(jìn)行編程。

具體的場景是，研究人員利用Minecraft訓(xùn)練AI智能體操控游戲里的角色并執(zhí)行各種任務(wù)，比如穿過橋梁或建造復(fù)雜的物體，而之前，操控游戲角色往往是由人類玩家來完成的。不僅如此， Project Malmo平臺(tái)還提供一些讓人類玩家和人工智能體互相協(xié)作的玩法 ：游戲界面會(huì)展示一個(gè)聊天窗口，人類玩家可以和一個(gè)初生的智能體進(jìn)行對(duì)話。

微軟曾在官方博客中表示，由于Minecraft涉及到各種問題的解決、空間的建立、時(shí)間上的推演甚至是合作，因此非常適合用于訓(xùn)練人工智能。

Katja Hoffman是微軟劍橋研究院的一名研究員，也是Project Malmo項(xiàng)目的帶頭人。她說：“從長遠(yuǎn)來看，我希望研發(fā)出的人工智能體，可以被任何一個(gè)用戶教導(dǎo)，并幫助用戶完成一些目標(biāo)任務(wù)?！?/p>

（圖為Project Malmo團(tuán)隊(duì)，第一排右二金發(fā)女生即為Katja Hoffman），圖自：Microsoft Blog

上周， Hoffman在紐約的一個(gè)學(xué)術(shù)會(huì)議上向AI領(lǐng)域的研究人員們演示了這個(gè)項(xiàng)目，并表示實(shí)現(xiàn)人類與AI的合作是這個(gè)項(xiàng)目的一個(gè)關(guān)鍵目標(biāo)。另外，Project Malmo如今已經(jīng)在GitHub上開源， 相關(guān)工具已經(jīng)免費(fèi)開放下載，以幫助開發(fā)者能夠更簡單地對(duì)人工智能領(lǐng)域進(jìn)行加強(qiáng)和完善。Hoffman說：“我們在其中已經(jīng)內(nèi)置了足夠多的功能，供研究者來開發(fā)協(xié)作型AI?！?/p>

Project Malmo 目前正專注于測試強(qiáng)化學(xué)習(xí)算法，這個(gè)算法通過模擬的獎(jiǎng)勵(lì)機(jī)制來訓(xùn)練計(jì)算機(jī)完成特定任務(wù)。例如，用強(qiáng)化算法訓(xùn)練一個(gè)AI智能體控制Minecraft里的角色，穿越一個(gè)堆滿了障礙物的房間，如果任務(wù)成功就給其一個(gè)獎(jiǎng)賞。人類玩家可以參與這個(gè)過程，為智能體提出一些幫助性建議，智能體之后會(huì)逐漸了解并運(yùn)用這些建議。

如下圖，名為human 1的角色由人類玩家控制，名為malmo 1的角色由算法控制著。

微軟CEO薩提亞·納德拉（Satya Nadella）曾于6月28日親自撰寫《未來的伙伴關(guān)系》（The Partnership of the Future）一文，描繪人類與AI合作解決社會(huì)問題的未來景象，并強(qiáng)調(diào)越來越聰明的機(jī)器學(xué)習(xí)算法在幫助人類提升工作效率方面具有巨大潛力, 而AI是微軟尤其重要的發(fā)展方向。

Hoffman相信這個(gè)項(xiàng)目將最終應(yīng)用于常規(guī)游戲里。她說：“我可以想象出，未來你讓智能體去處理游戲中比較單調(diào)無聊的部分?！?/p>

AI協(xié)助Minecraft玩家打游戲，這只是實(shí)現(xiàn)計(jì)算機(jī)軟件幫助人類處理日常瑣事的第一步?！拔覀冃枰_發(fā)出對(duì)人類真正有益處，賦予人類更強(qiáng)力量的東西，”Hoffman說。

AI研究人員普遍已經(jīng)開始把計(jì)算機(jī)游戲轉(zhuǎn)變?yōu)闄z驗(yàn)成熟機(jī)器學(xué)習(xí)方法的試驗(yàn)場。去年年初， 谷歌旗下DeepMind公司演示了一個(gè)AI系統(tǒng)，系統(tǒng)自主學(xué)習(xí)了Atari 2600游戲機(jī)上的49款游戲 ，并隨后在29款游戲中的得分超過游戲行家，一時(shí)引發(fā)轟動(dòng)。這個(gè)AI系統(tǒng)中運(yùn)用的算法糅合了深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。接著，DeepMind公司向外界展示了該AI系統(tǒng)學(xué)習(xí)操控更為復(fù)雜的3D游戲的零碎畫面，但到目前為止還沒有對(duì)此曝露更多的工作進(jìn)展。

Minecraft本是一款獨(dú)立游戲，于2014年被微軟收購，盡管畫面極其簡單并且缺乏明確的游戲目標(biāo)，但其憑借著能激發(fā)出玩家的驚人創(chuàng)造力而廣受歡迎。游戲迷們用它建造出了一系列無與倫比的復(fù)雜建筑和機(jī)械裝置，還有玩家利用其中的“紅石”元素制作出了CPU，可謂真正意義上的計(jì)算機(jī)中的計(jì)算機(jī)。

雖然Minecraft比較簡單，但是它可以為眾多機(jī)器人算法提供一個(gè)有用的試驗(yàn)場。去年7月份，布朗大學(xué)的Stefanie Tellex教授帶領(lǐng)的團(tuán)隊(duì)開發(fā)出一款讓機(jī)器人快速確定一串動(dòng)作順序的算法，當(dāng)時(shí)就是使用了Minecraft 這個(gè)“試驗(yàn)場”。她表示 Malmo平臺(tái)一個(gè)非常大的用處就是可以讓研究人員更加容易地比較他們的研究方法 。她說：“讓Minecraft變成AI界的奧林匹克運(yùn)動(dòng)會(huì)，這個(gè)想法非常棒?！彼€指出，這個(gè)平臺(tái)還能更有效地搜集大量數(shù)據(jù)，比如關(guān)于人類和AI互動(dòng)的數(shù)據(jù)，而這些數(shù)據(jù)正是現(xiàn)代機(jī)器學(xué)習(xí)非常需要的。

雖然Malmo平臺(tái)主要針對(duì)人工智能、機(jī)器學(xué)習(xí)和機(jī)器人學(xué)領(lǐng)域的專業(yè)人士，但是任何有足夠技術(shù)能力的人都可以下載這個(gè)平臺(tái)，來針對(duì)游戲內(nèi)置的AI智能體進(jìn)行實(shí)驗(yàn)。游戲里包含了幾個(gè)機(jī)器學(xué)習(xí)的程序包和AI智能體的例子。而實(shí)際上，目前下載了這個(gè)游戲的人群里確實(shí)包含了一批業(yè)余愛好者和并不專攻AI領(lǐng)域的軟件工程師。

Minecraft這款有點(diǎn)笨拙的粗糙的像素游戲， 可能會(huì)成為人類與人工智能（AI）一起學(xué)習(xí)協(xié)同工作的絕佳平臺(tái)。