作者：Hitachi Vantara首席產品官Radhika Krishnan

Hitachi Vantara首席產品官Radhika Krishnan

數(shù)據(jù)時代，每一家現(xiàn)代化企業(yè)均是數(shù)據(jù)型企業(yè)。他們不再需要更多數(shù)據(jù)，而是需要更高質量的數(shù)據(jù)，以及更智能的數(shù)據(jù)管理。

在一個萬物皆可被度量的時代，數(shù)據(jù)積累的速度超過大多數(shù)企業(yè)能夠跟上的速度，使得企業(yè)疲于應對海量數(shù)據(jù)帶來的壓力。這些數(shù)據(jù)填滿了大量的存儲，需要企業(yè)花費昂貴的資源進行維護。事實上，現(xiàn)在的企業(yè)環(huán)境平均容納八個以上的數(shù)據(jù)湖。

這些截然不同的數(shù)據(jù)源和數(shù)據(jù)湖往往造成額外的混亂和阻撓，而非增加價值。在這種情況下，為提升數(shù)據(jù)質量，企業(yè)IT主管不僅需要對數(shù)據(jù)進行概要分析、編目和存儲，還必須遵守一系列管理數(shù)據(jù)使用的法規(guī)。這意味著數(shù)據(jù)管理成為了一個人工的、緩慢的，且容易出錯的過程。

· 考慮到某一部門的信息可能為其他部門帶來價值，數(shù)據(jù)孤島卻妨礙部門之間共享有用的信息。

· 企業(yè)缺少對決策至關重要的數(shù)據(jù)文化和協(xié)作文化。

· 當多項計劃重疊或并行開始時，企業(yè)往往會獲得重復數(shù)據(jù)和來源不明的數(shù)據(jù)。如果企業(yè)無法確定數(shù)據(jù)質量，那么存儲數(shù)據(jù)時便只能收獲“無用輸入、無用輸出 （GIGO）”的效果，難以為任何類型的分析或洞察帶來價值。這將阻礙業(yè)務進程，因為數(shù)據(jù)質量是影響企業(yè)業(yè)務成果的基本因素。換言之，阻礙企業(yè)業(yè)務進程的是其擁有的信息來源的不確定性。

上述低效的數(shù)據(jù)管理將導致數(shù)據(jù)浪費，且無法變現(xiàn)。同時，即使企業(yè)繼續(xù)花費大量資金來嘗試管理這些數(shù)據(jù)，也將面臨極高的合規(guī)風險。Hitachi Vantara認為，部署DataOps是企業(yè)有效管理數(shù)據(jù)的明智手段。

DataOps是大勢所趨

在過去幾年間，DataOps（數(shù)據(jù)運營）已逐步進入主流視野，以至于許多企業(yè)正在采用或認真考慮采用敏捷的數(shù)據(jù)管理原則。

DataOps帶來的預期業(yè)務收益

DataOps是一種方法論，而不是一套工具或產品。這一概念從精益化生產 （Lean Manufacturing）、敏捷開發(fā) （Agile） 和開發(fā)運營 （DevOps） 的實踐中汲取養(yǎng)分，幫助企業(yè)克服內部“官僚主義”造成的障礙和復雜性，并在不影響數(shù)據(jù)質量和數(shù)據(jù)治理的前提下，快速、敏捷地提供分析。

DataOps有助于激發(fā)企業(yè)業(yè)務的創(chuàng)新活力，縮短數(shù)據(jù)分析周期，并提高收益。更具體地說，它能為企業(yè)帶來以下優(yōu)勢：

· 形成對企業(yè)數(shù)據(jù)普遍的商業(yè)理解，包括結合數(shù)據(jù)目錄以及與業(yè)務利益相關者的合作，來管理和維護數(shù)據(jù)。

· 自動化數(shù)據(jù)質量、數(shù)據(jù)治理及合規(guī)性任務，來確保數(shù)據(jù)已準備好被企業(yè)所使用。

· 在組織層面上強調敏捷和自動化的數(shù)據(jù)管理，其中人員、流程和技術等專注于管理面向業(yè)務成果和目標的數(shù)據(jù)，同時確保較低的治理風險和可控的成本。

· 到目前為止，DataOps最大的價值主張便是幫助企業(yè)打破數(shù)據(jù)孤島，使企業(yè)業(yè)務運行得更快，推動企業(yè)加速向市場交付新產品。能做到這一點的原因在于，有用的信息不再被鎖定在單一部門，可以在整個企業(yè)內共享。

人工智能、機器學習和自動化

元數(shù)據(jù)是踐行任何良好的DataOps方法的基礎。若企業(yè)在攝取數(shù)據(jù)時使用人工智能 （AI） 和機器學習 （ML） 算法自動創(chuàng)建元數(shù)據(jù)，便可以顯著地減少人工投入，進而加快團隊對數(shù)據(jù)管道的開發(fā)和采用，以及有效分析的產出。

通過自動化元數(shù)據(jù)的端到端管理，企業(yè)便可以如期推動良好的DataOps實踐。為實現(xiàn)這一點，企業(yè)需要借助數(shù)據(jù)集成技術來載入數(shù)據(jù)，以及通過有效的機制來對數(shù)據(jù)進行編目，并且需要對其應用規(guī)則，以建立數(shù)據(jù)血緣關系 （data lineage）。

而將數(shù)據(jù)從一種工具轉移至另一種工具這樣零敲碎打的做法，可能會阻礙上述操作。這就是我們建議引入AI和ML技術的原因，它們可以幫助企業(yè)更好地理解數(shù)據(jù)，并根據(jù)需要在語義上豐富數(shù)據(jù)。此外，AI和ML的集成可以幫助企業(yè)識別任何數(shù)據(jù)質量問題，同時支持向數(shù)據(jù)中添加治理規(guī)則。

數(shù)據(jù)轉型

事先界定成果，并有清晰的目標是成功進行數(shù)據(jù)轉型的關鍵。企業(yè)需要厘清數(shù)據(jù)的來源，選擇最佳方式存儲和管理數(shù)據(jù)，并確保自己可以利用數(shù)據(jù)快速地為終端客戶創(chuàng)造價值。

同時，文化因素也會影響企業(yè)采用DataOps。DataOps的成功實踐，取決于企業(yè)內部是否能夠形成諸如一勞永逸地結束孤島，鼓勵數(shù)據(jù)團隊和IT團隊之間展開更多合作，端到端的設計思維以及將數(shù)據(jù)視為共享資產等文化。

DataOps文化

本文探討的這些挑戰(zhàn)并非微不足道。當企業(yè)審查自身的數(shù)據(jù)狀況時，需要認真考慮將數(shù)據(jù)真正視為可以提高業(yè)務成果的資產。如此一來，DataOps方法論和實踐將幫助企業(yè)極大地優(yōu)化數(shù)據(jù)治理并促進業(yè)務發(fā)展。