雙十二的結(jié)束，意味著2023年的所有大促已落下帷幕。雙十一全網(wǎng)11386億元的銷(xiāo)售額背后是消費(fèi)的狂歡，更是一場(chǎng)場(chǎng)數(shù)據(jù)洪峰，單天貓平臺(tái)在雙十一期間累計(jì)訪問(wèn)用戶(hù)數(shù)就已超8億，數(shù)據(jù)訪問(wèn)的壓力不言而喻。

面對(duì)瞬時(shí)流量高并發(fā)、海量數(shù)據(jù)查詢(xún)等應(yīng)用場(chǎng)景，固態(tài)硬盤(pán)憑借其高吞吐量、低時(shí)延等特征逐漸成為大數(shù)據(jù)時(shí)代下數(shù)據(jù)存儲(chǔ)的重要載體，是當(dāng)前本地部署的數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品重要搭載硬件，可滿(mǎn)足電商大促場(chǎng)景下大規(guī)模數(shù)據(jù)的存儲(chǔ)和查詢(xún)需求。

為更好應(yīng)對(duì)含電商在內(nèi)的數(shù)據(jù)密集型行業(yè)對(duì)高性能、高可靠存儲(chǔ)的要求，憶聯(lián)特聯(lián)合國(guó)內(nèi)大數(shù)據(jù)倉(cāng)儲(chǔ)的佼佼者——南大通用（下稱(chēng)：GBase）共同探索大數(shù)據(jù)時(shí)代下數(shù)字化轉(zhuǎn)型存儲(chǔ)新方案。

南大通用大規(guī)模分布式并行數(shù)據(jù)庫(kù)集群系統(tǒng)（簡(jiǎn)稱(chēng)GBase 8a MPP Cluster），是在GBase 8a系列存儲(chǔ)數(shù)據(jù)庫(kù)基礎(chǔ)上開(kāi)發(fā)的一款Shared Nothing架構(gòu)的分布式并行數(shù)據(jù)庫(kù)集群，具備高性能、高可用、高擴(kuò)展等特性，可為各種規(guī)模數(shù)據(jù)管理提供高性?xún)r(jià)比的通用計(jì)算平臺(tái)，廣泛用于支撐各類(lèi)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、BI系統(tǒng)和決策支持系統(tǒng)。

圖1：GBase 8a MPP Cluster技術(shù)架構(gòu)圖

GBase 8a MPP Cluster采用MPP+Shared Nothing的分布式聯(lián)邦架構(gòu)，節(jié)點(diǎn)間通過(guò)TCP/IP網(wǎng)絡(luò)進(jìn)行通信，每個(gè)節(jié)點(diǎn)采用本地磁盤(pán)來(lái)存儲(chǔ)數(shù)據(jù)。GBase 8a MPP Cluster系統(tǒng)中的每一個(gè)節(jié)點(diǎn)都是相對(duì)獨(dú)立的、自給的，整個(gè)系統(tǒng)具有非常強(qiáng)的擴(kuò)展性，可從幾個(gè)節(jié)點(diǎn)擴(kuò)展到上百節(jié)點(diǎn)，滿(mǎn)足業(yè)務(wù)規(guī)模增長(zhǎng)的要求。

本次驗(yàn)證硬件配置:

本次驗(yàn)證軟件配置:

本次驗(yàn)證組網(wǎng)規(guī)劃:

圖2：本次GBase 8a MPP組網(wǎng)規(guī)劃架構(gòu)圖

步驟1：將6塊SAS UM511a配置Raid5。

步驟2：創(chuàng)建數(shù)據(jù)庫(kù)和表使用TPC-H工具評(píng)估數(shù)據(jù)庫(kù)分析處理能力，需要提前創(chuàng)建數(shù)據(jù)庫(kù)和TPC-H內(nèi)置的8張表；使用TPC-DS工具評(píng)估數(shù)據(jù)庫(kù)分析處理能力，提前創(chuàng)建數(shù)據(jù)庫(kù)和TPC-DS內(nèi)置的25張表。

步驟3：參數(shù)調(diào)優(yōu)根據(jù)GBase建議進(jìn)行相關(guān)參數(shù)調(diào)優(yōu)。

步驟4：數(shù)據(jù)生成TCH-H通過(guò)dbgen工具可以通過(guò)設(shè)置參數(shù)生成所需的測(cè)試數(shù)據(jù)，命令參數(shù)為/dbgen -C 10 -S 1 -s 3000 –vf；TPC-DS通過(guò)dsdgen工具可以通過(guò)設(shè)置參數(shù)生成所需的測(cè)試數(shù)據(jù)，命令參數(shù)為./dsdgen -scale 3000 -dir testdata -force -parallel 10 -child 1。

步驟5：數(shù)據(jù)加載數(shù)據(jù)導(dǎo)入時(shí)，在GBASE集群本地節(jié)點(diǎn)搭建FTP服務(wù)器，通過(guò)FTP加載數(shù)據(jù)。當(dāng)一個(gè)表包含多個(gè)數(shù)據(jù)文件時(shí)，將單表的多個(gè)數(shù)據(jù)文件集成一個(gè)導(dǎo)入語(yǔ)句中，以單表為粒度分別加載測(cè)試數(shù)據(jù)至8張數(shù)據(jù)庫(kù)表中。

步驟6：SQL執(zhí)行獨(dú)立的客戶(hù)端，通過(guò)業(yè)務(wù)平面網(wǎng)絡(luò)與GBase集群通信，使用gccli工具執(zhí)行TPC-H 22個(gè)SQL用例，

參考命令如下：

/home/GBase/gccli_install/gcluster/server/bin/gccli -h 10.28.100.38 -uroot -Dtpch -vvv < query_1.sql。

本次在GBase 8a MPP場(chǎng)景下驗(yàn)證結(jié)果如下：

①、憶聯(lián)SAS SSD在Raid邏輯卷帶寬性能測(cè)試下的表現(xiàn)：

圖3：憶聯(lián)SAS盤(pán)在Raid邏輯卷帶寬性能測(cè)試下的表現(xiàn)

在本次測(cè)試中，將6個(gè)SAS SSD配置Raid5，12塊SATA配置Raid50，在Server主機(jī)使用FIO測(cè)試工具進(jìn)行128KB順序讀寫(xiě)帶寬性能壓測(cè)。從圖3結(jié)果表現(xiàn)可知，SAS SSD讀寫(xiě)帶寬更優(yōu)，讀帶寬比SATA有19.6%左右提升，寫(xiě)帶寬提升34%左右，展現(xiàn)了SAS SSD在Raid邏輯卷帶寬下的絕對(duì)優(yōu)勢(shì)，可為高并發(fā)的業(yè)務(wù)場(chǎng)景提供穩(wěn)定、順暢的數(shù)據(jù)服務(wù)體驗(yàn)。

②、憶聯(lián)SAS SSD在單盤(pán)故障降級(jí)&重構(gòu)讀性能下的表現(xiàn)：

圖4：憶聯(lián)SAS SSD在單盤(pán)故障降級(jí)&重構(gòu)讀性能下的表現(xiàn)

單盤(pán)降級(jí)讀性能是指RAID組在單盤(pán)故障或拔出情況下的RAID組邏輯卷讀業(yè)務(wù)性能，重構(gòu)性能是指單盤(pán)故障后，RAID同時(shí)進(jìn)行熱備盤(pán)數(shù)據(jù)重構(gòu)和業(yè)務(wù)下發(fā)時(shí)的業(yè)務(wù)側(cè)性能。本次通過(guò)將6塊憶聯(lián)SAS SSD配置Raid5后，在一塊SSD故障條件下進(jìn)行測(cè)試。

如圖4所示，不管是在單盤(pán)降級(jí)讀性能還是在重構(gòu)讀帶寬條件下，SAS盤(pán)的表現(xiàn)都優(yōu)于SATA，單盤(pán)降級(jí)讀性能優(yōu)于SATA 22.7%左右，重構(gòu)讀帶寬性能上比SATA最大有38.4%左右的提升，滿(mǎn)足在各種復(fù)雜場(chǎng)景下業(yè)務(wù)不中斷、數(shù)據(jù)不丟失的超高可用性要求。

③、憶聯(lián)SAS SSD在TPC-DS場(chǎng)景下的表現(xiàn)：

圖5：TPC-DS場(chǎng)景下憶聯(lián)SAS SSD的表現(xiàn)

TPC-DS測(cè)試是通過(guò)FTP協(xié)議加載數(shù)據(jù)到GBase數(shù)據(jù)庫(kù)表。從圖5可見(jiàn)，在相同物理硬件環(huán)境下，SAS SSD不管是在數(shù)據(jù)導(dǎo)入還是在SQL用例執(zhí)行時(shí)間上所用時(shí)間都略低于SATA SSD，具備一定時(shí)間優(yōu)勢(shì)，通過(guò)降低系統(tǒng)延遲，提供更快的數(shù)據(jù)訪問(wèn)速度來(lái)提升用戶(hù)體驗(yàn)。

④、憶聯(lián)SAS SSD在TCP-H場(chǎng)景下的表現(xiàn)

圖6：TPC-H場(chǎng)景下憶聯(lián)SAS SSD的表現(xiàn)

TPC-H測(cè)試是通過(guò)FTP協(xié)議加載數(shù)據(jù)到GBase數(shù)據(jù)庫(kù)表。圖6展現(xiàn)了SAS SSD以及SATA SSD在TPC-H測(cè)試下的表現(xiàn)，其中SAS SSD總用時(shí)略?xún)?yōu)于SATA SSD，數(shù)據(jù)導(dǎo)入時(shí)間優(yōu)于SATA約6%，對(duì)SQL用例執(zhí)行時(shí)間上相比 SATA SSD降低了3%左右，可為業(yè)務(wù)系統(tǒng)提供快速、可靠的決策支持服務(wù)。

總結(jié)：本次驗(yàn)證充分體現(xiàn)了憶聯(lián)SAS SSD在GBase 8a MPP場(chǎng)景下的性能優(yōu)勢(shì)，可有效支持業(yè)務(wù)高效開(kāi)展，具備單盤(pán)帶寬更高，盤(pán)故障重構(gòu)、降級(jí)性能更優(yōu)等特點(diǎn)，不僅可以幫助企業(yè)節(jié)約硬件采購(gòu)成本，也可幫助互聯(lián)網(wǎng)數(shù)據(jù)中心、運(yùn)營(yíng)商解決海量數(shù)據(jù)下的大數(shù)據(jù)存儲(chǔ)和計(jì)算問(wèn)題，高效處理海量結(jié)構(gòu)化數(shù)據(jù)。

憶聯(lián)深耕固態(tài)硬盤(pán)領(lǐng)域多年，已發(fā)布多款高性能、高可靠產(chǎn)品，具備應(yīng)對(duì)復(fù)雜的業(yè)務(wù)環(huán)境和數(shù)據(jù)庫(kù)挑戰(zhàn)的能力，可滿(mǎn)足行業(yè)用戶(hù)海量數(shù)據(jù)處理需求。未來(lái)，憶聯(lián)將持續(xù)聯(lián)合GBase共同打造數(shù)字化轉(zhuǎn)型背景下的存儲(chǔ)新方案。