然而，有許多優(yōu)化可以執(zhí)行，使推理速度更快。例如，一個(gè)高效的推理機(jī)可以刪除神經(jīng)網(wǎng)絡(luò)中未激活的部分，或者將多個(gè)層合并到一個(gè)單獨(dú)的計(jì)算步驟中。如果硬件支持16位浮點(diǎn)運(yùn)算，其速度通常是32位版本的兩倍，則推理機(jī)可以利用這一點(diǎn)來加快處理速度，而幾乎不會(huì)損失精度。

現(xiàn)在在物聯(lián)網(wǎng)和邊緣設(shè)備的世界里，世界上大多數(shù)推理都是在CPU上完成的。你不會(huì)在你的監(jiān)控?cái)z像頭里放一個(gè)幾百美元的GPU，這就是OpensCV的深度學(xué)習(xí)模塊非常適合的原因。你只需運(yùn)行一個(gè)自主選擇的深度學(xué)習(xí)模型作為推理機(jī)。

英特爾為此投入了大量資金，并發(fā)布了OpenVINO工具包。OpenVINO或openvisualinferencing and Neural network Optimization，簡稱OpenVINO，旨在加速神經(jīng)網(wǎng)絡(luò)在圖像分類和目標(biāo)檢測等任務(wù)中的速度。

那么背后發(fā)生了什么呢？

加載模型后，它們將轉(zhuǎn)換為OpenCV中的內(nèi)部表示形式，這與Caffe非常相似。

如果我們轉(zhuǎn)到OpenCV網(wǎng)站，我們可以看到它支持幾個(gè)基本的神經(jīng)網(wǎng)絡(luò)層。它還包含了池化層、激活函數(shù)，比如Tanh、ReLU、Sigmoid和Softmax，還有Reshape， Flatten， Slice， 和Split等函數(shù)。

在opencv的Deep Learning wiki中，你可以看到對(duì)經(jīng)典神經(jīng)網(wǎng)絡(luò)架構(gòu)的支持，比如AlexNet、GoogleNet、VGG和ResNet等。DNN模塊具有可用的圖像分類、目標(biāo)檢測和語義分割等模型。

現(xiàn)在，如果每個(gè)模型都被翻譯成一個(gè)內(nèi)部表示，我們?nèi)绾未_保在翻譯過程中沒有丟失一些東西呢？OpenCV已經(jīng)發(fā)布了一些測試結(jié)果，表明在準(zhǔn)確性上，使用DNN模塊的ResNet 50和原始的ResNet 50之間沒有任何區(qū)別，這意味著無論使用OpenCV的DNN模塊還是原始的體系結(jié)構(gòu)，都將得到相同的結(jié)果。