大數據時代,西部數據的應對之道:創(chuàng)新存儲架構
在日前于IPF2021浪潮數據中心合作伙伴大會期間舉辦的數據存儲論壇上,西部數據公司副總裁兼中國區(qū)業(yè)務總經理劉鋼做了題為“創(chuàng)新存儲架構,賦能智算浪潮”的主題演講,闡釋了西部數據公司在大數據時代的存儲應對之道。
西部數據公司副總裁兼中國區(qū)業(yè)務總經理劉鋼
大數據時代存儲面臨挑戰(zhàn)
在如今的數字經濟時代,數據作為企業(yè)的寶貴資產,已經成為驅動企業(yè)發(fā)展的核心生產力要素。伴隨以人工智能、物聯網、5G等為代表的數字技術的不斷發(fā)展和落地,其帶來的是數據量級的激烈增長。事實上,對于企業(yè)用戶而言,要存儲這些寶貴資產也面臨著極大挑戰(zhàn)。
劉鋼在演講中談到,如今數據的來源并不僅僅是人,也包含了成千上萬的機器設備,以及數據中心所產生的數據。而次生數據的放大效應也會產生更巨量的數據。在未來幾年中,這些新增數據量加在一起會達到驚人的3ZB。
而即便數據增長如此快速,但最終也只有1.5%的數據被存儲下來。因為對于數據存儲而言,企業(yè)用戶既存在海量的存儲需求,也存在快速訪問尋求,同時也對于存儲的成本和功耗提出更高的要求。
西部數據的應對之道:創(chuàng)新存儲架構
當前數據存放的關鍵技術基本可分為兩種,其一是HDD,用于存放大數據;其二是SSD,對應著快數據的存放。劉鋼表示,為了應對大數據時代的上述問題及挑戰(zhàn),僅憑一種存儲技術顯然難以做到。西部數據所做的是對存儲架構進行創(chuàng)新。
由于數據對于存儲的需求并不相同,有著不同的分層。而無論是SSD還是HDD,當對數據進行分區(qū),其在存儲盤中引發(fā)的效應就會增強。在西部數據看來,創(chuàng)新的存儲架構包括三種:
第一種存儲架構是分布式存儲。相對于傳統中心化的存儲方法WEB2.0,WEB3.0是去中心化的分布式存儲方法。去中心化帶來新的存儲架構,同時也帶來了存儲在成本和容量方面的優(yōu)勢。
第二種存儲架構是分層存儲。數據分為不同層,根據數據對于存儲的容量、時延等指標的需求,西部數據將其分為極熱存儲、熱存儲、溫存儲、冷存儲和極冷存儲五層。不同的數據需求需要對應不同的存儲設備。
例如冷存儲大容量盤可達到18TB,極冷存儲則可引入多次讀取等技術;而在快存儲中,用戶希望快速訪問高價值數據,進行業(yè)務的預測或決策等,因此可以應用SSD解決。
值得一提的是,尤其是對于互聯網領域云存儲而言,HDD容量密度的提升可以降低整體數據中心的部署及運營成本。比如在配置不變的前提下,將HDD密度從14TB提升至18TB,則可以降低22%的服務器使用,單位功耗則會降低21%。因此,許多特別是互聯網服務商多會快速跟進最新的存儲容量。
第三種存儲架構是分區(qū)存儲。SSD中往往會設有一個預留空間(7.68TB為7%,6.4TB為28%),其很多時候會進行數據垃圾的收集。而在ZNS SSD中,預留空間容量為零,但采用了新的技術進行分區(qū)處理。ZNS SSD帶來的一大好處是,垃圾數據收集時并沒有拉低整體存儲的性能,同時也降低了成本。
在美國健康數據管理服務商Qumulo應用案例中,其采用西部數據Ultrastar SN640 7.68TB NVMe SSD之后,每日可讀取和分析高達2PB的數據,數據分析量提升20倍,極大推進了疫苗開發(fā)工作以及對疫情的控制。
另外,IPFS通過采用(4U60+18T) 相比傳統存儲方案(4U36+16T)讓機柜空間減少46%,電源功耗降低36%,實現TCO成本的降低。
西部數據的三大優(yōu)勢
應該說,在企業(yè)用戶的數據存儲中,SSD對于用戶整體存儲的成本和性能的影響至關重要。而對于SSD供應商而言,要極大降低SSD成本,擁有自己的大規(guī)模產能非常重要。
會上,劉鋼強調了西部數據在SSD領域擁有的三大核心優(yōu)勢:
第一, 西部數據擁有全球領先的SSD產能優(yōu)勢。在這方面,西部數據與鎧俠可以占到全球產能三分之一的份額。
第二, 西部數據擁有領先的SSD技術優(yōu)勢。今年2月,西部數據發(fā)布了最新第六代162層3D閃存技術。其橫向單元陣列密度較上一代技術提高了約10%;與112層堆疊技術相比,第六代技術將晶圓尺寸有效減小40%,大大優(yōu)化成本;與上一代產品相比,第六代程序性能提升2.4倍,讀取延遲降低約10%,I/O性能提高約66%。
第三, 西部數據擁有垂直企業(yè)級固態(tài)硬盤縱向集成優(yōu)勢。例如在全球最大電商之一應用案例中,其對于穩(wěn)定性的要求是上下10%波動,而西部數據相應方案的實測波動僅為0.11%。
除了全球市場,西部數據也與中國企業(yè)巨頭保持了緊密的合作。比如西部數據與浪潮一直存在非常多的合作。
劉鋼表示,在面臨大數據時代挑戰(zhàn)時,應對之道是創(chuàng)新的存儲架構,包括分布式存儲、分層存儲和分區(qū)存儲。西部數據不僅提供新的技術來不斷創(chuàng)新和優(yōu)化存儲產品及解決方案,也會攜手合作伙伴共同創(chuàng)新企業(yè)級存儲市場的未來。
西部數據公司副總裁兼中國區(qū)業(yè)務總經理劉鋼
“高速發(fā)展的人工智能在對數字經濟產生巨大賦能和推動的同時,也推動整個計算產業(yè)向'智慧計算'方向演進,巨量模型和海量數據,對算力和存儲的需求呈指數級增長。我們很高興能持續(xù)深化與浪潮的合作,結合雙方前沿科技與產品的獨特優(yōu)勢,協力打造出高性能、低成本、且兼具穩(wěn)定性與擴展性等特點的卓越解決方案,優(yōu)化資源配置,賦能智慧計算。未來,西部數據將與浪潮加強縱深合作,不斷以創(chuàng)新的數據存儲架構和解決方案,應對市場多樣化的需求,并攜手生態(tài)系統中的各方伙伴共同推動智能產業(yè)的轉型與發(fā)展,為行業(yè)用戶創(chuàng)造更多價值。”劉鋼如是說。

請輸入評論內容...
請輸入評論/評論長度6~500個字