不懂hive中的explain，說明hive還沒入門，學會explain，能夠給我們工作中使用hive帶來極大的便利！

理論

本節(jié)將介紹 explain 的用法及參數(shù)介紹

HIVE提供了EXPLAIN命令來展示一個查詢的執(zhí)行計劃，這個執(zhí)行計劃對于我們了解底層原理，hive 調(diào)優(yōu)，排查數(shù)據(jù)傾斜等很有幫助

使用語法如下：

EXPLAIN ［EXTENDED｜CBO｜AST｜DEPENDENCY｜AUTHORIZATION｜LOCKS｜VECTORIZATION｜ANALYZE］ query

explain 后面可以跟以下可選參數(shù)，注意：這幾個可選參數(shù)不是 hive 每個版本都支持的

EXTENDED：加上 extended 可以輸出有關(guān)計劃的額外信息。這通常是物理信息，例如文件名。這些額外信息對我們用處不大

CBO：輸出由Calcite優(yōu)化器生成的計劃。CBO 從 hive 4．0．0 版本開始支持

AST：輸出查詢的抽象語法樹。AST 在hive 2．1．0 版本刪除了，存在bug，轉(zhuǎn)儲AST可能會導致OOM錯誤，將在4．0．0版本修復

DEPENDENCY：dependency在EXPLAIN語句中使用會產(chǎn)生有關(guān)計劃中輸入的額外信息。它顯示了輸入的各種屬性

AUTHORIZATION：顯示所有的實體需要被授權(quán)執(zhí)行（如果存在）的查詢和授權(quán)失敗

LOCKS：這對于了解系統(tǒng)將獲得哪些鎖以運行指定的查詢很有用。LOCKS 從 hive 3．2．0 開始支持

VECTORIZATION：將詳細信息添加到EXPLAIN輸出中，以顯示為什么未對Map和Reduce進行矢量化。從 Hive 2．3．0 開始支持

ANALYZE：用實際的行數(shù)注釋計劃。從 Hive 2．2．0 開始支持

在 hive cli 中輸入以下命令（hive 2．3．7）：

explain select sum（id） from test1；

得到結(jié)果（請逐行看完，即使看不懂也要每行都看）：

STAGE DEPENDENCIES：
 Stage－1 is a root stage
 Stage－0 depends on stages： Stage－1
STAGE PLANS：
 Stage： Stage－1
   Map Reduce
     Map Operator Tree：
         TableScan
           alias： test1
           Statistics： Num rows： 6 Data size： 75 Basic stats： COMPLETE Column stats： NONE
           Select Operator
             expressions： id （type： int）
             outputColumnNames： id
             Statistics： Num rows： 6 Data size： 75 Basic stats： COMPLETE Column stats： NONE
             Group By Operator
               aggregations： sum（id）
               mode： hash
               outputColumnNames： ＿col0
               Statistics： Num rows： 1 Data size： 8 Basic stats： COMPLETE Column stats： NONE
               Reduce Output Operator
                 sort order：
                 Statistics： Num rows： 1 Data size： 8 Basic stats： COMPLETE Column stats： NONE
                 value expressions： ＿col0 （type： bigint）
     Reduce Operator Tree：
       Group By Operator
         aggregations： sum（VALUE．＿col0）
         mode： mergepartial
         outputColumnNames： ＿col0
         Statistics： Num rows： 1 Data size： 8 Basic stats： COMPLETE Column stats： NONE
         File Output Operator
           compressed： false
           Statistics： Num rows： 1 Data size： 8 Basic stats： COMPLETE Column stats： NONE
           table：
               input format： org．a(chǎn)pache．hadoop．mapred．SequenceFileInputFormat
               output format： org．a(chǎn)pache．hadoop．hive．ql．io．HiveSequenceFileOutputFormat
               serde： org．a(chǎn)pache．hadoop．hive．serde2．lazy．LazySimpleSerDe
 Stage： Stage－0
   Fetch Operator
     limit： －1
     Processor Tree：
       ListSink

看完以上內(nèi)容有什么感受，是不是感覺都看不懂，不要著急，下面將會詳細講解每個參數(shù)，相信你學完下面的內(nèi)容之后再看 explain 的查詢結(jié)果將游刃有余。

一個HIVE查詢被轉(zhuǎn)換為一個由一個或多個stage組成的序列（有向無環(huán)圖DAG）。這些stage可以是MapReduce stage，也可以是負責元數(shù)據(jù)存儲的stage，也可以是負責文件系統(tǒng)的操作（比如移動和重命名）的stage。

我們將上述結(jié)果拆分看，先從最外層開始，包含兩個大的部分：

stage dependencies： 各個stage之間的依賴性

stage plan： 各個stage的執(zhí)行計劃

先看第一部分 stage dependencies ，包含兩個 stage，Stage－1 是根stage，說明這是開始的stage，Stage－0 依賴 Stage－1，Stage－1執(zhí)行完成后執(zhí)行Stage－0。

再看第二部分 stage plan，里面有一個 Map Reduce，一個MR的執(zhí)行計劃分為兩個部分：

Map Operator Tree： MAP端的執(zhí)行計劃樹

Reduce Operator Tree： Reduce端的執(zhí)行計劃樹