Agent57為我們構(gòu)建更加強(qiáng)大的AI決策模型奠定了基礎(chǔ)。

AI打游戲會比普通人優(yōu)秀？DeepMind給了肯定的答案。近日，DeepMind宣布它們的智能體Agent57首次在所有57款雅達(dá)利游戲上超越人類玩家。

近年來，DeepMind一直在研究提高智能體在游戲環(huán)境下的智能性，通常情況下，智能體在游戲中能夠應(yīng)對的環(huán)境越復(fù)雜，它在真實(shí)環(huán)境中的適應(yīng)能力也會越強(qiáng)。

此次Agent57挑戰(zhàn)的街機(jī)學(xué)習(xí)環(huán)境（Arcade Learning Environment，ALE）包括57款游戲，為智能體的強(qiáng)化學(xué)習(xí)提供了復(fù)雜的挑戰(zhàn)。

而之所以會選擇雅達(dá)利游戲作為訓(xùn)練的數(shù)據(jù)集，DeepMind表示雅達(dá)利游戲足夠多樣化，可以評估智能體的泛化性能，其次它可以模擬在真實(shí)環(huán)境中可能遇到的情況，并且雅達(dá)利游戲是由獨(dú)立的組織構(gòu)建，可以避免實(shí)驗(yàn)偏見。

據(jù)悉，Agent57在多臺計算機(jī)上并行執(zhí)行，并啟用強(qiáng)化學(xué)習(xí)算法（Reinforcement learning，RL）驅(qū)動智能體采取行動，使得獎勵的效果最大化。此前，強(qiáng)化學(xué)習(xí)在游戲領(lǐng)域就取得不少進(jìn)展，比如OpenAI的OpenAI Five和DeepMind的AlphaStar RL智能體分別打敗了99．4％的Dota 2玩家和99．8％的星際2玩家。

圖 ｜ Agent57的框架

雅達(dá)利游戲中的Montezuma、Revenge和Pitfall都很難，AI必須先嘗試多種不同的策略，才能找到可行的方法。而在Solaris和Skiing游戲中，需要一段時間才能顯示決策結(jié)果，這意味著AI必須在相當(dāng)長的時間內(nèi)收集盡可能多的信息。

Agent57通過讓不同的計算機(jī)研究游戲的各個方面來克服了這些難題，然后將收集到的信息反饋給一個控制器，由控制器對所有這些因素進(jìn)行分析以制定出最佳策略。

DeepMind將Agent57與當(dāng)前最先進(jìn)的算法MuZero、R2D2和NGU做了比較，Agent57顯示出了更高的平均性能（100）。

研究團(tuán)隊(duì)表示，“這并不意味著雅達(dá)利游戲研究的結(jié)束，我們不僅要關(guān)注數(shù)據(jù)效率，也需要關(guān)注總體表現(xiàn)，未來的主要改進(jìn)可能會是Agent57在探索、規(guī)劃和信度分配上。”比如減少AI運(yùn)行的算力，在集合中的一些較簡單的游戲中變得更好。

Agent57在雅達(dá)利游戲中取得超越人類玩家的成績，為我們構(gòu)建更加強(qiáng)大的AI決策模型奠定了基礎(chǔ)：AI不僅可以自動完成重復(fù)性的任務(wù)，也可以自動推理環(huán)境。