用于訓(xùn)練RBM的算法被稱作對比發(fā)散CD（contrastive divergence） 算法 。對比發(fā)散CD算法，目前已經(jīng)成為訓(xùn)練RBM的標準算法。訓(xùn)練過程如下圖所示。

RBM問題實質(zhì)：

RBM求解目標可認為是讓RBM網(wǎng)絡(luò)表示的Gibbs分布與輸入樣本的分布盡可能地接近。

RBM問題最終可以轉(zhuǎn)化為極大似然來求解。

RBM功能：

深信任網(wǎng)絡(luò)DBN和深玻爾茲曼機DBM，由多層神經(jīng)元組成，已經(jīng)應(yīng)用于許多機器學(xué)習(xí)任務(wù)中，能夠很好地解決一些復(fù)雜問題，在一定程度上提高了學(xué)習(xí)性能。深神經(jīng)網(wǎng)絡(luò)由許多受限玻爾茲曼機RBM堆棧構(gòu)成，RBM的可見層神經(jīng)元之間和隱層神經(jīng)元之間假定無連接。深神經(jīng)網(wǎng)絡(luò)用層次無監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM，將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值，學(xué)習(xí)性能得到很大改善。無監(jiān)督特征學(xué)習(xí)就是將RBM的復(fù)雜層次結(jié)構(gòu)與海量數(shù)據(jù)集之間實現(xiàn)統(tǒng)計建模。通過無監(jiān)督預(yù)訓(xùn)練使網(wǎng)絡(luò)獲得高階抽象特征，并且提供較好的初始權(quán)值，將權(quán)值限定在對全局訓(xùn)練有利的范圍內(nèi)，使用層與層之間的局部信息進行逐層訓(xùn)練，注重訓(xùn)練數(shù)據(jù)自身的特性，能夠減小對學(xué)習(xí)目標過擬合的風險，并避免深神經(jīng)網(wǎng)絡(luò)中誤差累積傳遞過長的問題。RBM由于表示力強、易于推理等優(yōu)點被成功用作深神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)單元使用，在近些年受到廣泛關(guān)注，作為實際應(yīng)用，RBM的學(xué)習(xí)算法已經(jīng)在MNIST和NORB等數(shù)據(jù)集上顯示出優(yōu)越的學(xué)習(xí)性能。RBM的學(xué)習(xí)在深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中占據(jù)核心的地位。

RBM應(yīng)用場景：

玻爾茲曼機BM及其模型已經(jīng)成功應(yīng)用于協(xié)同濾波、分類、降維、圖像檢索、信息檢索、語言處理、語音識別、時間序列建模、文檔分類、非線性嵌入學(xué)習(xí)、暫態(tài)數(shù)據(jù)模型學(xué)習(xí)和信號與信息處理等任務(wù)。

受限玻爾茲曼機RBM在降維、分類、協(xié)同過濾、特征學(xué)習(xí)和主題建模中得到了應(yīng)用。根據(jù)任務(wù)的不同，受限玻爾茲曼機可以使用監(jiān)督學(xué)習(xí)或無監(jiān)督學(xué)習(xí)的方法進行訓(xùn)練。

結(jié)語：

受限玻爾茲曼機RBM是一種可通過輸入數(shù)據(jù)集學(xué)習(xí)概率分布的隨機生成神經(jīng)網(wǎng)絡(luò)。它是一種玻爾茲曼機BM的變體，限制玻爾茲曼機RBM和玻爾茲曼機BM相比，主要是加入了“限制”。所謂的限制就是，將完全圖變成了二分圖。RBM算法在人工智能之機器學(xué)習(xí)、降維、分類、協(xié)同過濾、特征學(xué)習(xí)和主題建模等領(lǐng)域有著廣泛應(yīng)用。