OpenAI是Elon Musk于2015年12月宣布成立的非盈利AI項(xiàng)目，科研人員會(huì)將大部分研究成果開(kāi)源共享；主要關(guān)注增強(qiáng)學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)——谷歌此前名聲大噪的圍棋程序AlphaGo用的就是增強(qiáng)學(xué)習(xí)；而無(wú)監(jiān)督學(xué)習(xí)需要機(jī)器處理大量沒(méi)有標(biāo)記的數(shù)據(jù)，自己找到區(qū)分不同數(shù)據(jù)子集、集群、或者相似圖像的辦法，有點(diǎn)像嬰兒學(xué)習(xí)世界的方式，一直被視作人工智能的真正潛力釋放點(diǎn)。

卷積神經(jīng)網(wǎng)絡(luò)之父Yann LeCun有一個(gè)經(jīng)典比喻：如果人工智能是一塊蛋糕，增強(qiáng)學(xué)習(xí)(Reinforcement Learning)就是蛋糕上的一粒櫻桃，而監(jiān)督學(xué)習(xí)(Supervised Learning)是蛋糕外的一層糖霜，但無(wú)監(jiān)督學(xué)習(xí)(Unsupervised Learning)才是蛋糕本身。目前我們只知道如何制作糖霜和櫻桃，卻不知道如何做蛋糕。

一次性模擬學(xué)習(xí)

OpenAI宣布的這種新型算法“一次性模擬學(xué)習(xí)(one-shot imitation learning)”指的是，當(dāng)人類(lèi)在VR中演示一次某個(gè)動(dòng)作后，比如將桌面藍(lán)色的小盒子疊放在紅色小盒子上這個(gè)動(dòng)作，機(jī)器通過(guò)學(xué)習(xí)這一動(dòng)作就可以執(zhí)行出相同的結(jié)果，并且不論桌面盒子擺放的順序如何，機(jī)器都可以準(zhǔn)確執(zhí)行。

這套學(xué)習(xí)系統(tǒng)由兩個(gè)神經(jīng)網(wǎng)絡(luò)組成：一個(gè)視覺(jué)網(wǎng)絡(luò)(vision network)和一個(gè)模仿網(wǎng)絡(luò)(imitation network)。

視覺(jué)網(wǎng)絡(luò)(vision network)獲得的圖像來(lái)自機(jī)器人的攝像機(jī)，此前，這個(gè)視覺(jué)網(wǎng)絡(luò)經(jīng)過(guò)數(shù)十萬(wàn)張模擬圖像的訓(xùn)練，每張都具有不同紋理、光影效果等(但是從未使用真實(shí)圖像進(jìn)行訓(xùn)練)；

模擬網(wǎng)絡(luò)(imitation network)則必須生成一個(gè)與VR演示動(dòng)作一致的執(zhí)行步驟，并且推斷出該任務(wù)的意圖，使得在初始設(shè)定變更時(shí)(如盒子的擺放順序調(diào)亂時(shí))依舊可以找到藍(lán)色的盒子并把它疊在紅盒子上。

目前，學(xué)術(shù)界與產(chǎn)業(yè)界都在尋找使用各種訓(xùn)練機(jī)器人的手法，比如英偉達(dá)CEO黃仁勛在上周的GTC大會(huì)上也宣布了一款名為ISAAC的增強(qiáng)學(xué)習(xí)世界模擬器，創(chuàng)造出一個(gè)完全虛擬的、專(zhuān)為訓(xùn)練機(jī)器人而打造的世界。

這是一個(gè)遵循物理法則但不遵循時(shí)間法則的世界，在現(xiàn)實(shí)生活中，你想要訓(xùn)練一臺(tái)機(jī)器學(xué)會(huì)打冰球，你要將這個(gè)冰球放在機(jī)器前面，一遍一遍地教會(huì)它；而在虛擬世界里，機(jī)器可以在一秒內(nèi)重復(fù)眾多次這樣的動(dòng)作，而且你還可以同時(shí)訓(xùn)練一堆機(jī)器學(xué)習(xí)打球，然后找到里面最聰明的一個(gè)，將它的“大腦”程序復(fù)制出來(lái)，創(chuàng)建一堆同樣的機(jī)器再繼續(xù)訓(xùn)練篩選。