11月1日，F(xiàn)acebook開源了Horizon，一個由Facebook的AI研究人員、推薦系統(tǒng)專家和工程師共同搭建的強化學習平臺，其框架的構建工作開始于兩年半前，在過去一年中一直被Facebook內(nèi)部使用。

公司或研究團隊可以在Horizon平臺大規(guī)模部署AI執(zhí)行各種操作，達到同樣的效果可能需要幾千個CPU或GPU訓練數(shù)以十億計的觀測報告。而利用Apache Spark進行預處理和PyTorch訓練AI系統(tǒng)，Horizon同樣可以部署在單臺計算機上。

Facebook的產(chǎn)品團隊已經(jīng)利用Horizon平臺提供諸如M Suggestions的服務，該服務能推薦翻譯工具、Spotify歌單、Food Network食譜，以及各種基于Facebook Messenger對話用詞的其他事物。Horizon還能被用來確定Facebook 360視頻碼率和個性化設置Facebook應用程序的推送通知。

強化學習通過獎勵（rewards）來驅動智能體（agents）的活動以達到預期目標。Facebook開源Horizon主要是為了推進強化學習的發(fā)展，同時為AI領域的新手、學生和需要數(shù)千臺機器訓練AI系統(tǒng)的大型研究項目提供無監(jiān)督學習的方法。

谷歌曾利用強化學習訓練DeepMind AI如何導航虛擬酷跑的路線，加州大學伯克利分校的研究人員也曾借此訓練計算機的“好奇心”。對Facebook而言，強化學習將是AI產(chǎn)業(yè)的下一個前沿技術，在機器學習中會被廣泛采用，該公司相信強化學習也有助于改進大型系統(tǒng)和應用程序，也希望看到強化學習的新方法和應用，尤其在機器人和游戲領域。

Facebook對開源工具的AI培訓和部署并不陌生，公司在今年10月份把深受歡迎的深度學習框架PyTorch 1.0集合到谷歌云、AWS和Azure機器學習平臺，同期發(fā)布的還有用于AI模型訓練的Caffe2和Parlai框架。除了PyTorch和Apache Spark，AI愛好者還能用TensorBoard X進行可視化訓練，在完成訓練之后還可以利用ONNX使AI模型在不同框架之間進行轉移。

不同于其他形式的強化學習，Horizon可以離線訓練AI系統(tǒng)。Horizon使用一種被稱為反事實策略評估（counterfactual policy evaluation）的技術來評估AI系統(tǒng)的離線性能，確定替代方法是否比在線運行的性能更好。

Facebook認為Horizon是第一個“利用強化學習規(guī)格化大規(guī)模數(shù)據(jù)集訓練的開源端對端的平臺”，該平臺配有步進式的用法說明，只要具備計算機基礎知識的人士都可以在Faecbook的Horizon GitHub資源庫中進行克隆和嘗試，不局限于大型公司的研究人員和專家。