在日前結(jié)束的第25屆國際模式識別會議（ICPR2020）上，深蘭科技DeepBlueAI團隊同臺競技聯(lián)想、華南理工、合合等隊伍，摘得“圖表信息提取競賽”總成績的冠軍。

該競賽由6個賽道7個子任務(wù)組成，其中賽道6有兩個子任務(wù)，每個子任務(wù)又分Adobe Synth、UB PMC兩個數(shù)據(jù)集。7個子任務(wù)按照數(shù)據(jù)集單獨計分，最終按照總分進行排名。最終，DeepBlueAI團隊拿下4個賽道冠軍，以總分35分拿到總成績第一名。

ICPR2020圖表信息提取

競賽冠軍方案

該比賽各任務(wù)涵蓋圖表分類、案例分析、圖元素提取等，數(shù)據(jù)類別存在著分布極為不均衡的問題。

7個賽道分別為：賽道一，圖表分類；賽道二，檢測并識別圖表中的文字區(qū)域；賽道三，識別圖表圖像中文本功能／角色；賽道四，對坐標(biāo)軸上刻度點進行檢測并與刻度標(biāo)簽文本框關(guān)聯(lián)；賽道五，關(guān)聯(lián)圖例標(biāo)簽文本與圖例樣式元素；賽道六，第一個子任務(wù)對圖表元素進行檢測與分類，第二個子任務(wù)提取用于生成圖表圖像的原始數(shù)據(jù)。

下面對比較有競爭力的三、四、五、六賽道的解決方案進行技術(shù)分享。

賽道三

賽道三以文本位置和文本內(nèi)容為輸入，識別圖表圖像中每個文本的角色，6個類別如圖所示。我們的方法包括兩個步驟：特征提取和分類器分類。使用文本屬性來定義特征向量，使用的分類器是Random Forest ［1］和LightGBM ［2］。

特征由文本框?qū)傩院臀谋緝?nèi)容組成，這些特征可分為三組。第一組包含框的長寬比、文本是否為數(shù)字、文本是否為多行、文本角度、文本長度和圖表類型。第二組包括文本框的三種相對位置信息，也就是相對于全局邊框、原點和圖例的位置。第三組包含水平／垂直對齊文本框的數(shù)量和對齊文本框的水平／垂直范圍，判斷框是否對齊時，分別使用文本框的中心點、左上角和右下角。

使用隨機森林和LightGBM對文本角色進行分類。隨機森林的一個優(yōu)點是在缺少特征的情況下仍然具有良好的性能，LightGBM具有訓(xùn)練效率高、精度高等優(yōu)點。在訓(xùn)練模型時，每個類別的損失權(quán)重與輸入數(shù)據(jù)的頻率成反比。