當前位置:
首頁 > 知識 > 詳解 MySQL 基準測試和 sysbench 工具

詳解 MySQL 基準測試和 sysbench 工具

(點擊

上方公眾號

,可快速關注)




來源:編程迷思 ,


www.cnblogs.com/kismetv/p/7615738.html




作為一名後台開發,對資料庫進行基準測試,以掌握資料庫的性能情況是非常必要的。本文介紹了MySQL基準測試的基本概念,以及使用sysbench對MySQL進行基準測試的詳細方法。




文章有疏漏之處,歡迎批評指正。



一、基準測試簡介




1、什麼是基準測試




資料庫的基準測試是對資料庫的性能指標進行定量的、可復現的、可對比的測試。



基準測試與壓力測試




基準測試可以理解為針對系統的一種壓力測試。但基準測試不關心業務邏輯,更加簡單、直接、易於測試,數據可以由工具生成,不要求真實;而壓力測試一般考慮業務邏輯(如購物車業務),要求真實的數據。




2、基準測試的作用




對於多數Web應用,整個系統的瓶頸在於資料庫;原因很簡單:Web應用中的其他因素,例如網路帶寬、負載均衡節點、應用伺服器(包括CPU、內存、硬碟燈、連接數等)、緩存,都很容易通過水平的擴展(俗稱加機器)來實現性能的提高。而對於MySQL,由於數據一致性的要求,無法通過增加機器來分散向資料庫寫數據帶來的壓力;雖然可以通過前置緩存(Redis等)、讀寫分離、分庫分表來減輕壓力,但是與系統其它組件的水平擴展相比,受到了太多的限制。



而對資料庫的基準測試的作用,就是分析在當前的配置下(包括硬體配置、OS、資料庫設置等),資料庫的性能表現,從而找出MySQL的性能閾值,並根據實際系統的要求調整配置。




3、基準測試的指標




常見的資料庫指標包括:






  • TPS/QPS:衡量吞吐量。



  • 響應時間:包括平均響應時間、最小響應時間、最大響應時間、時間百分比等,其中時間百分比參考意義較大,如前95%的請求的最大響應時間。。



  • 並發量:同時處理的查詢請求的數量。




4、基準測試的分類




對MySQL的基準測試,有如下兩種思路:




(1)針對整個系統的基準測試:通過http請求進行測試,如通過瀏覽器、APP或postman等測試工具。該方案的優點是能夠更好的針對整個系統,測試結果更加準確;缺點是設計複雜實現困難。



(2)只針對MySQL的基準測試:優點和缺點與針對整個系統的測試恰好相反。




在針對MySQL進行基準測試時,一般使用專門的工具進行,例如mysqlslap、sysbench等。其中,sysbench比mysqlslap更通用、更強大,且更適合Innodb(因為模擬了許多Innodb的IO特性),下面介紹使用sysbench進行基準測試的方法。




二、sysbench




1、sysbench簡介




sysbench是跨平台的基準測試工具,支持多線程,支持多種資料庫;主要包括以下幾種測試:






  • cpu性能



  • 磁碟io性能



  • 調度程序性能



  • 內存分配及傳輸速度



  • POSIX線程性能



  • 資料庫性能(OLTP基準測試)




本文主要介紹對資料庫性能的測試。




2、sysbench安裝




本文使用的環境時CentOS 6.5;在其他Linux系統上的安裝方法大同小異。MySQL版本是5.6。



(1)下載解壓





wget https://github.com/akopytov/sysbench/archive/1.0.zip -O "sysbench-1.0.zip"


unzip sysbench-1.0.zip


cd sysbench-1.0




(2)安裝依賴





yum install automake libtool –y




(3)安裝




安裝之前,確保位於之前解壓的sysbench目錄中。





./autogen.sh


./configure


export LD_LIBRARY_PATH=/usr/local/mysql/include #這裡換成機器中mysql路徑下的include


make


make install




(4)安裝成功





[root@test sysbench-1.0]# sysbench --version


sysbench 1.0.9




3、sysbench語法




執行sysbench –help,可以看到sysbench的詳細使用方法。




sysbench的基本語法如下:





sysbench [options]… [testname] [command]




下面說明實際使用中,常用的參數和命令。




(1)command




command是sysbench要執行的命令,包括prepare、run和cleanup,顧名思義,prepare是為測試提前準備數據,run是執行正式的測試,cleanup是在測試完成後對資料庫進行清理。




(2)testname




testname指定了要進行的測試,在老版本的sysbench中,可以通過–test參數指定測試的腳本;而在新版本中,–test參數已經聲明為廢棄,可以不使用–test,而是直接指定腳本。




例如,如下兩種方法效果是一樣的:





sysbench --test=./tests/include/oltp_legacy/oltp.lua


sysbench ./tests/include/oltp_legacy/oltp.lua




測試時使用的腳本為lua腳本,可以使用sysbench自帶腳本,也可以自己開發。對於大多數應用,使用sysbench自帶的腳本就足夠了。不同版本的sysbench中,lua腳本的位置可能不同,可以自己在sysbench路徑下使用find命令搜索oltp.lua。P.S.:大多數數據服務都是oltp類型的,如果你不了解什麼是oltp,那麼大概率你的數據服務就是oltp類型的。




(3)options




sysbench的參數有很多,其中比較常用的包括:




MySQL連接信息參數






  • –mysql-host:MySQL伺服器主機名,默認localhost;如果在本機上使用localhost報錯,提示無法連接MySQL伺服器,改成本機的IP地址應該就可以了。



  • –mysql-port:MySQL伺服器埠,默認3306



  • –mysql-user:用戶名



  • –mysql-password:密碼




MySQL執行參數






  • –oltp-test-mode:執行模式,包括simple、nontrx和complex,默認是complex。simple模式下只測試簡單的查詢;nontrx不僅測試查詢,還測試插入更新等,但是不使用事務;complex模式下測試最全面,會測試增刪改查,而且會使用事務。可以根據自己的需要選擇測試模式。



  • –oltp-tables-count:測試的表數量,根據實際情況選擇



  • –oltp-table-size:測試的表的大小,根據實際情況選擇



  • –threads:客戶端的並發連接數



  • –time:測試執行的時間,單位是秒,該值不要太短,可以選擇120



  • –report-interval:生成報告的時間間隔,單位是秒,如10




4、sysbench使用舉例




在執行sysbench時,應該注意:




(1)盡量不要在MySQL伺服器運行的機器上進行測試,一方面可能無法體現網路(哪怕是區域網)的影響,另一方面,sysbench的運行(尤其是設置的並發數較高時)會影響MySQL伺服器的表現。




(2)可以逐步增加客戶端的並發連接數(–thread參數),觀察在連接數不同情況下,MySQL伺服器的表現;如分別設置為10,20,50,100等。




(3)一般執行模式選擇complex即可,如果需要特別測試伺服器只讀性能,或不使用事務時的性能,可以選擇simple模式或nontrx模式。




(4)如果連續進行多次測試,注意確保之前測試的數據已經被清理乾淨。




下面是sysbench使用的一個例子:




(1)準備數據





sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=100000 --threads=10 --time=120 --report-interval=10 prepare




其中,執行模式為complex,使用了10個表,每個表有10萬條數據,客戶端的並發線程數為10,執行時間為120秒,每10秒生成一次報告。







(2)執行測試




將測試結果導出到文件中,便於後續分析。





sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=100000 --threads=10 --time=120 --report-interval=10 run >> /home/test/mysysbench.log




(3)清理數據




執行完測試後,清理數據,否則後面的測試會受到影響。





sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 cleanup




5、測試結果




測試結束後,查看輸出文件,如下所示:







其中,對於我們比較重要的信息包括:




queries:查詢總數及qps




transactions:事務總數及tps




Latency-95th percentile:前95%的請求的最大響應時間,本例中是344毫秒,這個延遲非常大,是因為我用的MySQL伺服器性能很差;在正式環境中這個數值是絕對不能接受的。




三、建議




下面是使用sysbench的一些建議。




1、在開始測試之前,應該首先明確:應採用針對整個系統的基準測試,還是針對MySQL的基準測試,還是二者都需要。




2、如果需要針對MySQL的基準測試,那麼還需要明確精度方面的要求:是否需要使用生產環境的真實數據,還是使用工具生成也可以;前者實施起來更加繁瑣。如果要使用真實數據,盡量使用全部數據,而不是部分數據。




3、基準測試要進行多次才有意義。




4、測試時需要注意主從同步的狀態。




5、測試必須模擬多線程的情況,單線程情況不但無法模擬真實的效率,也無法模擬阻塞甚至死鎖情況。




參考文獻






  • http://blog.csdn.net/oahz4699092zhao/article/details/53332105




看完本文有收穫?請轉發分享給更多人


關注「ImportNew」,提升Java技能


喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 ImportNew 的精彩文章:

使用 partclone 備份磁碟分區
Spring Converter 入門之字元串轉化為枚舉

TAG:ImportNew |