前文我們已經(jīng)簡(jiǎn)單講解過(guò)ERNIE1．0與2．0的構(gòu)成與區(qū)別

NLP ｜ 百度 ERNIE － 簡(jiǎn)析1．0 與 2．0

一篇簡(jiǎn)單易懂的好文

本文小媛帶來(lái)的是【從0開(kāi)始快速上手百度 ERNIE】

原文詳見(jiàn)文末原文鏈接

一、前置條件

在使用ERNIE模型之前，用戶需要完成如下任務(wù)：

安裝Python3．7．5版本。

安裝paddlepaddle 1．8版本，具體安裝方法請(qǐng)參見(jiàn)快速安裝（文末）。

執(zhí)行如下命令從GitHub上獲取ERNIE代碼庫(kù)。如果網(wǎng)絡(luò)速度較慢用戶可以跳過(guò)此步，因?yàn)榻坛套詭в蠩RNIE的包。

！git clone －b dygraph －－single－branch https：／／github．com／PaddlePaddle／ERNIE．git

使用pip方式安裝其他依賴文件。

！pip install －r ERNIE／requirements．txt

   依賴文件主要包括：

numpy：Python的一種開(kāi)源數(shù)值計(jì)算拓展，可以用來(lái)進(jìn)行大型張量的存儲(chǔ)和計(jì)算。scikit－learn：機(jī)器學(xué)習(xí)工具包。scipy：科學(xué)計(jì)算庫(kù)。six：解決py2和py3代碼兼容性的工具包。

二、快速運(yùn)行

這里以使用情感分析數(shù)據(jù)集ChnSentiCorp的ERNIE中文預(yù)模型為例，展示如何通過(guò)簡(jiǎn)單的三個(gè)步驟就可以快速使用ERNIE 1．0中文Base模型實(shí)現(xiàn)情感分析場(chǎng)景的推理。

ChnSentiCorp是一個(gè)中文情感分析數(shù)據(jù)集，包含酒店、筆記本電腦和書籍的網(wǎng)購(gòu)評(píng)論。表1對(duì)ERNIE1．0／2．0和BERT中文模型在該任務(wù)上的效果進(jìn)行了評(píng)測(cè)，評(píng)測(cè)使用的指標(biāo)為準(zhǔn)確率（acc），即在使用驗(yàn)證集或測(cè)試集進(jìn)行推理時(shí)，推理正確的數(shù)據(jù)條目占數(shù)據(jù)集數(shù)據(jù)總數(shù)的百分比。從表1中可以看到ERNIE具有明顯的優(yōu)勢(shì)。

使用ERNIE 1．0中文Base模型進(jìn)行推理分如下三個(gè)步驟：

數(shù)據(jù)獲取。介紹如何下載ChnSentiCorp數(shù)據(jù)集，以及數(shù)據(jù)集的結(jié)構(gòu)，這樣用戶可以參考數(shù)據(jù)集的結(jié)構(gòu)構(gòu)造用于Fine－tuning的數(shù)據(jù)集。此外如果用戶希望使用自定義數(shù)據(jù)集進(jìn)行訓(xùn)練，則可以仿照ChnSentiCorp數(shù)據(jù)集的結(jié)構(gòu)，構(gòu)建自己的數(shù)據(jù)集。

運(yùn)行Fine－tuning。介紹如何設(shè)置數(shù)據(jù)和模型路徑的環(huán)境變量，以及如何執(zhí)行腳本進(jìn)行Fine－tuning。

執(zhí)行推理。使用腳本運(yùn)行Fine－tuning成功的模型進(jìn)行推理。

表1 ERNIE1．0／2．0和BERT的測(cè)評(píng)表

數(shù)據(jù)集
ChnSentiCorp

評(píng)估

指標(biāo)

準(zhǔn)確率（acc）
驗(yàn)證集（dev）
測(cè)試集（test）
BERT Base94．694．3ERNIE 1．0 Base95．2 （＋0．6）95．4 （＋1．1）ERNIE 2．0 Base95．7 （＋1．1）95．5 （＋1．2）ERNIE 2．0 Large 96．1 （＋1．5）95．8 （＋1．5）1． 數(shù)據(jù)獲取

ERNIE在多個(gè)中文和英文NLP任務(wù)上做過(guò)評(píng)測(cè)，中文任務(wù)的數(shù)據(jù)可以通過(guò)下面的命令獲取， ChnSentiCorp數(shù)據(jù)亦包含其中。

！wget https：／／ernie－github．cdn．bcebos．com／data－chnsenticorp．tar．gz！tar xvf data－chnsenticorp．tar．gz