當前位置:
首頁 > 科技 > 深入淺出:如何做好系統性能評估?

深入淺出:如何做好系統性能評估?

在上篇文章「深入淺出存儲性能評估方法論」中,我們介紹了性能評估相關概念和原理,但是在項目實戰中,要根據業務真實訴求給出切合實際的性能配置,還需要針對業務模型進行最佳實踐分析和洞察,從主機埠、存儲系統、後端磁碟等端到端進行分析和評估,在本文中把常見的性能評估過程中的難點依次羅列,希望對大家有所幫助。

IO聚合成滿分條寫優化寫懲罰

IO聚合成滿分條大小的情況下,無需做預讀操作,不會觸發RAID寫懲罰,RAID寫懲罰在不是滿分條寫的時候,才會觸發預讀的流程。以RAID5-5小寫為例,寫一個數據位,需要預讀兩次,寫校驗位一次。可以認為是一個IO被放大成了四個IO。

而滿分條寫的時候,同時寫四個數據位,不需要預讀,只需要額外寫一次校驗位,可以認為是四個IO被放大成了五個IO 。對比非滿分條寫,效率大大提高。

存儲的IO合併能力對於資料庫業務是否各家都能做到IO合併呢?一般存儲針對不同類型的IO有不同的合併能力;資料庫業務主要是隨機IO,各廠商都做不到完全滿分條IO合併。存儲收到的IO是否能夠合併,主要取決於兩個方面。

1、主機側發下來的業務IO模型:IO是否順序,是否連續,與主機業務軟體本身、主機側塊設備、卷管理策略、HBA卡拆分策略等相關。主機下發的IO越順序、越連續,到達陣列後的合併效果越好。

2、存儲側對IO的合併能力:IO路徑上的Cache、存儲塊設備、硬碟等模塊都會對IO進行排序與合併的操作,試圖儘可能將小IO合成大IO下盤。

對於順序小IO而言,基本上能夠實現將IO都合併成滿分條後下盤。而對於IO隨機程度較高的資料庫業務,各廠商都無法確保所有IO都能夠合併,只能盡量通過排序和合併,將相鄰地址的小IO合成大IO,但合併程度由於演算法實現和內存大小等因素可能會有所差異。

OLTP、OLAP、VDI和SPC-1業務模型

OLTP、OLAP、VDI和SPC-1是當前性能評估中常見的三類業務場景。SPC-1是業界通用的隨機IOPS型的IO模型,在不清楚實際業務類型的條件下,常用此模型來進行性能評估。四種模型的簡單IO特徵如下表所示。

下面將分別介紹四種模型的業務特性與IO特徵:

一、OLTP業務模型和特徵:

1、業務特徵:每個事務的讀,寫,更改涉及的數據量非常小,同時有很多用戶連接到資料庫,使用資料庫,要求資料庫有很快的響應時間,通常一個事務在幾秒內完成,時延要求一般在10-20ms。

2、IO特徵:針對DATA LUN,隨機小IO,IO大小主要為8KB(IO大小與資料庫的Block塊大小一致),讀寫比約為3:2,讀全隨機,寫有一定合併。 針對LOG LUN,多路順序小IO,大小不定,幾乎都是寫IO。

二、OLAP業務模型和特徵:

1、業務特徵:一般很少有數據修改,除非在批量載入數據時;系統調用非常複雜的查詢語句,同時掃描非常多的行;一個查詢將花費數小時,甚至數天;主要取決於查詢語句的複雜程度;查詢的輸出通常是一個統計值,由group by與order by得出;當讀取操作進行時,發生的寫操作通常在臨時表空間內;平常對在線日誌寫入很少,除非在批量載入數據時;分析型業務,一般對時延沒有要求。

2、IO特徵:針對DATA LUN,多路順序大IO(可以近似認為是隨機大IO),IO大小與主機側設置的分條大小有關(如512KB),90%以上為讀業務,混合間斷讀寫。針對TMP LUN,隨機IO,讀寫混合(先寫後讀,計算時寫,讀臨時表時讀,大部分是寫,占整個業務中很少部分的IO),IO大小基本為200KB以上大IO。

三、VDI業務模型和特徵

1、業務特性:可以分為啟動風暴、登錄風暴和平穩狀態幾個常見場景,在不同的狀態下,業務壓力相差很大。啟動風暴,即大量虛擬機同時啟動時的突髮狀態,是讀密集型操作,可以通過VSA(View Storage Accelerator 可以降低70%的讀負載)、分批錯峰等操作規避。登錄風暴,即大量用戶同時登錄到桌面,導致共享存儲產生大量爆發性負載的情況,是寫密集型的,很難通過技術方式避免。平穩狀態,即所有用戶在同時使用桌面時,產生負載波動較小的狀態。不同的用戶類型,平穩狀態的負載有所不同。時延要求一般在10ms左右。

2、IO特徵:平穩狀態下,讀寫比例約為2:8,多路順序小IO,主要是寫,存在一定的合併,IO大小從512B到16KB都有;少量的讀IO,基本都是16KB,在負載穩定之後,Cache命中率在80%以上(採用鏈接克隆技術的情況下,如果是完整克隆的情況,命中率有所下降)。

四、SPC-1業務模型和特徵

1、業務特性:SPC-1設計一個專門為測試存儲系統在典型業務應用場合下的負載模型,這個負載模型連續不斷地對業務系統並發的做查詢和更新的工作,因此其主要由隨機I/O組成。這些隨機I/O的操作主要涉及資料庫型的OLTP應用以及E-mail系統應用,能夠很好地衡量存儲系統的IOPS指標。

2、IO特徵:它抽象的測試區域稱為ASU,包括ASU1臨時數據區域,ASU2用戶數據區域和ASU3日誌區域。對整體而言,讀寫比約為4:6,順序IO與隨機IO的比例約為3:7,IO大小主要為4KB,有較明顯的熱點訪問區域。

SSD、SAS、NL-SAS的性能特點、優勢對比

你知道FC鏈路帶寬是如何計算的呢?

今天就跟你一起詳細解析一下。FC協議是主機伺服器與存儲系統連接傳輸的常用協議之一。在評估存儲系統整體帶寬時,FC鏈路的帶寬是計算前端帶寬的最重要的因素之一。8G FC鏈路的理論帶寬計算方法如下:

8Gbps FC參考時鐘:8.5G Hz

8Gbps FC協議編碼:8b/10b編碼

協議幀的傳輸如上圖所示。8Gbps FC協議傳輸效率計算如下:

ACK在FC協議中是class 1和class 2服務(面向連接)使用的,class 3服務不使用ACK幀,因此可以獲得更高的傳輸效率。通常使用的是class 3服務,按照class 3服務計算實際傳輸效率為97.15%。

單向理論數據傳輸帶寬計算公式如下:

鏈路時鐘*鏈路編碼效率* FC協議層傳輸效率/8 /1024 /1024,即8Gbps FC單向理論數據傳輸帶寬=(8.5*1000*1000*1000) * (8/10) * 97.15%/8 /1024 /1024 = 787.5MB/s

由於傳輸命令請求也要開銷鏈路帶寬,幀與幀之間的傳輸還需要協議的原語開銷,故單向鏈路的數據帶寬無法超越理論值787.5MB/s。雙向帶寬理論上為單向鏈路的兩倍,但是由於光模塊和上層模塊的處理調度開銷等因素,實際測試時達不到兩倍的理論值。當前產品中常見的FC鏈路為8G FC和4G FC鏈路,它們的極限帶寬如下表所示:

例如,某客戶採購了一台陣列,此款產品能夠提供的最大讀帶寬為3000MB,客戶規劃配置48塊600GB 15k SAS盤(推薦單盤讀帶寬為40MB),前端雙控各配置1張8G FC卡,分別連接了1根光纖到A、B控,估算當前場景下能夠提供的最大讀帶寬。

硬碟提供的有效讀帶寬 = 單盤順序讀帶寬 * 硬碟數量 = 40MB * 48 = 1920 MB。

前端鏈路提供的最大讀帶寬 = 780MB * 2 = 1560 MB。

該場景能提供的最大讀帶寬 = MIN(產品能提供的最大讀帶寬,硬碟提供的有效寫帶寬,前端鏈路提供的最大讀帶寬)= MIN(3000MB,1920MB , 1560MB)= 1560 MB。

帶寬計算中如何考慮校驗的影響

對於順序寫業務,IO經過cache的IO合併後下發到RAID層,基本能夠確保都是滿分條寫。對於RAID5-5(4D 1P)這種配置來說,每4個數據IO(D)下盤同時會有一個校驗IO(P)需要下盤。

校驗IO下盤所佔的硬碟帶寬用於保障數據的可靠性,而對於用戶上層業務來說並沒有提供可用帶寬,因此需要扣除掉校驗位下盤所佔的帶寬開銷。

對於順序讀業務,在滿分條的情況下,在每個分條內部只需要讀數據位所在的磁碟,不需要讀校驗位所在的磁碟。

例如,某一款產品,能夠提供的最大寫帶寬為3200MB,規劃配置96塊600GB 15k SAS盤(推薦單盤寫帶寬為30MB),部署RAID6-6(4D 2P),估算這款產品能夠提供的有效寫帶寬。

硬碟提供的有效寫帶寬 = 單盤順序寫帶寬 * 硬碟數量 * (RAID數據盤數量/RAID總盤數)= 30MB * 96 * (4/6)= 1920 MB

產品能提供的有效寫帶寬 = MIN(產品能提供的最大寫帶寬,硬碟提供的有效寫帶寬)= MIN(3200MB,1920MB)= 1920 MB

什麼是讀寫比和對性能影響

讀寫比(Read/Write):指的是上層應用下發的讀IO和寫IO的比例分布。此數據是存儲規劃的重要參考依據。讀業務與寫業務消耗的存儲資源差異很大。下面是一些典型業務模型的常見讀寫比例

確切了解上層應用的讀寫比例直接影響到對cache策略、RAID級別和LUN配置的選擇。寫業務比讀業務會消耗更多的存儲系統資源:

1、在回寫的場景下,寫IO下發到cache之後需要通過交換通道「鏡像」到對端控制器,IO路徑更長,並需要佔用交換通道的帶寬;

2、為保證寫數據的可靠性和一致性,智能存儲通常會採用一些可靠性技術,例如writehole方案,需要將寫數據額外保存一份在cache或磁碟上;

3、對於不同的RAID級別而言,寫懲罰的存在會造成更大的時延和資源的開銷;此外,對於磁碟(包括SSD盤)而言,寫速度低於讀速度。

而對於讀業務來說,通常消耗較少的系統資源。例如,讀業務不需要生成額外的數據來保證數據一致。此外,絕大部分存儲設備的讀速度都比寫速度要快。當讀IO發現它所需讀取的數據已經在Cache中(讀命中)時,可以直接返回而不需要再下盤讀取。在讀命中的情況下,通常意味著最短的響應時延。

同樣數量的主機IO,如果讀寫比例不同,最終需要下盤的IO數量不同,意味著需要提供的磁碟能力不同。

例如,RAID6單次寫入需要分別對數據位和校驗位進行3次讀和3次寫,即寫懲罰是6。在RAID6的場景下,如果有1000個隨機的主機IO,讀寫比為2:8,則需要下盤的IO數量為1000*0.2 1000*0.8*6 = 5000;而如果讀寫比例為8:2的話,則需要下盤的IO數量為1000*0.8 1000*0.2*6 = 2000。

不同RAID級別對性能和容量影響

由於各RAID級別的寫懲罰不同,對於相同的業務類型、同樣數量的硬碟而言,選擇不同的RAID演算法,能夠提供給主機的性能是不相等的。

針對各種典型場景的RAID10、RAID5和RAID6的性能對比,其中假設某存儲設備上所有硬碟能夠提供的性能為100%,按照各個應用場景的讀寫比例,經過寫懲罰係數的折算,得到配置成各個RAID級別後能提供給用戶的實際性能。

從數據中也可以看出,對於不同的業務類型、同樣數量的硬碟、相同的RAID演算法,寫比例越大,性能越差。以SPC-1場景配置RAID6為例,假設用戶實際性能為x(0.4x 0.6x * 6 = 100%),實際性能只是磁碟能提供的x = 25%。

由於RAID演算法的實現原理不同(RAID10的鏡像、RAID5/6的校驗盤),對於同樣大小的裸容量來說,選擇不同的RAID演算法,可提供給用戶的可用容量是不同的(不考慮熱備空間和系統預留的影響)。

從可靠性的層面來看,RAID6的可靠性最佳,RAID10次之,RAID5最差。RAID6和RAID10都支持同時壞2塊盤不丟數據,但是RAID10對壞的2塊盤是有條件要求的。

如何區分順序IO和隨機IO

IO的定址方式是IO特性的一個重要方面,分為順序、隨機或混合,這取決於上層應用程序獲取數據的方式。例如,資料庫OLTP業務是典型的隨機讀寫,視頻監控業務是典型的順序讀,SPC-1模型是混合讀寫。

在通常情況下,如果數據的讀寫是在連續的磁碟空間上,可以認為是順序IO;如果應用讀取的數據分布在不連續的磁碟空間,且無固定的順序,則視為隨機IO;如果一部分數據是順序讀寫,一部分數據是隨機讀寫,則視為混合類型IO。

順序/隨機特性對性能的影響

在磁碟層面,順序IO的性能優於隨機IO。這是由於傳統的機械磁碟讀寫數據需要碟片轉動和磁頭移動,使得隨機讀寫的碟片旋轉和磁頭尋道時間要遠大於順序讀寫。

在智能存儲系統層面,通常情況下,順序IO的性能同樣大大優於隨機IO,特別是對於小IO的IOPS性能而言:

1、小IO讀:通過順序流識別和預取演算法,系統提前在磁碟上讀取大塊的連續數據存放在cache中,後續的大量順序小IO在cache中命中,無需下盤處理。而隨機小IO在cache中命中率極低,只能逐個下盤讀。

2、小IO寫:通過IO合併,系統將多個順序小IO合併成一個較大的IO下盤。如果在RAID5或RAID6場景,IO聚合成滿分條大小的情況下,無需做預讀操作,不會觸發RAID寫懲罰,效率很高。而隨機小IO無法合併,只能逐個下盤寫,且會觸發寫懲罰,導致性能更為低下。典型業務場景的順序/隨機特性,以下是一些典型業務場景的順序/隨機特性。

如何區分大IO和小IO

在做性能評估和討論IO模型時,經常會遇到是大IO還是小IO的問題。我們通常把=32KB的IO認為是大IO(典型的如256KB、1MB),處於16K和32K間的IO也認為是小IO。例如,典型的OLTP數據業務是小IO,而數據倉庫業務是大IO。典型業務場景的IO大小,以下是一些典型業務場景的IO大小。

IO大小對性能的影響

IO的大小取決於上層應用程序本身。對性能而言,小IO一般用IOPS來衡量,大IO一般用帶寬來衡量。例如我們熟悉的SPC-1,主要衡量存儲系統在隨機小IO負荷下的IOPS,而SPC-2則主要衡量在各種高負荷連續讀寫應用場合下存儲系統的帶寬。

就單個IO而言,大IO從微觀角度相比小IO會需要更多的處理資源。對於隨機IO而言,隨著隨機IO塊大小的增加,IOPS會隨之降低。例如,當隨機IO大小大於16KB時,機械硬碟的IOPS會呈線性下降。因此,我們通常SPC-1測試的IOPS值很高,但因為用戶業務模型不同,IO大小不同,性能值也是變化的。

不過對於智能存儲系統來說,會儘可能通過排序、合併、填充等方法對IO進行整合,將多個小IO組合成單個大IO。例如,典型的Web Server Log業務,一般是8KB大小的順序小IO,在分條大小設置為128KB的存儲設備上,最終會將16個8KB大小的小IO合併成一個128KB的大IO下發到硬碟上。在這種情況下,對比處理多個小IO,處理單個大IO的速度更快、開銷更小。

IO的大小,影響到磁碟選型,緩存、RAID類型、LUN的一些屬性和策略的調優。例如,隨機小IO的場景,由於SSD盤具有快速隨機讀寫的特性,選用SSD盤對比SAS盤能夠大幅提升性能;但如果是隨機大IO,選用帶寬性能相當、價錢便宜的SAS盤更有優勢。

Cache加速的原理

Cache是存儲中最重要的模塊之一,對於IOPS性能而言,CACHE的主要作用是加速。

對於寫業務,CACHE加速體現在三個方面:

1、回寫情況下,主機側下到陣列側的數據只需要下到CACHE處而不需要真正寫到磁碟即可以返回通知主機寫完成,當寫CACHE的數據積累到一定程度(水位),陣列才把數據刷到磁碟。由此可以將速度較差的「同步單個寫」轉為「非同步批量寫」,在通常情況下,回寫的性能約是透寫性能的兩倍以上。

2、寫命中。回寫條件下,新寫到CACHE中的數據發現在CACHE中已經有準備寫到相同地址但還沒有刷盤的數據。在這種情況下,只需要將新寫入的數據下盤即可。

3、寫合併。例如小IO下到CACHE中,CACHE會儘可能對IO進行排序與合併,將多個小IO合成單個大IO再下盤。

對於讀業務,CACHE加速主要體現在讀命中。例如智能預取策略,CACHE會主動識別IO流的特徵,如果發現是順序IO流,CACHE會在下盤讀IO的同時,主動讀取相鄰區域的大塊數據放到CACHE中。當順序IO下發到CACHE時,發現CACHE中已存放了需要的數據,則直接將此數據返回即可,不需要再下盤讀。其中的一個特例是「全命中」。

在全命中條件下,業務需要讀取的數據已經全部保存到CACHE中,完全不需要再下盤處理,即所有IO到CACHE層就返回了,路徑和時延最短。全命中讀的IOPS值,往往是一款存儲產品能夠提供的最大IOPS值。

溫馨提示:

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 架構師技術聯盟 的精彩文章:

基礎知識:你真的了解雲計算嗎?

TAG:架構師技術聯盟 |