同為分散式緩存，為何Redis更勝一籌？

作者介紹

楊彪，螞蟻金服技術專家，《分散式服務架構：原理、設計與實戰》和《可伸縮服務架構：框架與中間件》作者。近10年互聯網和遊戲行業工作經驗，曾在酷我音樂盒、人人遊戲和掌趣科技等上市公司擔任核心研發職位，做過日活躍用戶量達千萬的項目，也做過多款月流水千萬以上的遊戲。

本文節選自即將出版的《可伸縮服務架構：框架與中間件》一書，作者：李艷鵬、楊彪、李海亮、賈博岩、劉淏

如今，市面上的緩存解決方案已經逐步成熟了，今天我將選取其中一些代表性的方案包括Redis、Memcached和Tair進行對比，幫助大家在生產實踐中更好地進行技術選型。

一、常用的分散式緩存的對比

常用的分散式緩存包括Redis、Memcached和阿里巴巴的Tair（見下表），因為Redis提供的數據結構比較豐富且簡單易用，所以Redis的使用廣泛。

下面我們從9個大方面來對比最常用的Redis和Memcached。

1．數據類型

Redis一共支持5種數據類型，每種數據類型對應不同的數據結構，有簡單的String類型、壓縮串、字典、跳躍表等。跳躍表是比較新型的數據結構，常用於高性能的查找，可以達到log2N的查詢速度，而且跳躍表相對於紅黑樹，在更新時變更的節點較少，更易於實現並發操作。

Memcache只支持對鍵值對的存儲，並不支持其它數據結構。

2．線程模型

Redis使用單線程實現，Memcache等使用多線程實現，因此我們不推薦在Redis中存儲太大的內容，否則會阻塞其它請求。

因為緩存操作都是內存操作，只有很少的計算操作，所以在單線程下性能很好。Redis實現的單線程的非阻塞網路I/O模型，適合快速地操作邏輯，有複雜的長邏輯時會影響性能。對於長邏輯應該配置多個實例來提高多核CPU的利用率，也就是說，可以使用單機器多埠來配置多個實例，官方的推薦是一台機器使用8個實例。

它實現的非阻塞I/O模型基於Libevent庫中關於Epoll的兩個文件加上自己簡單實現的事件通知模型，簡單小巧，作者的思想就是保持實現簡單、減少依賴。由於在伺服器中只有一個線程，因此提供了管道來合併請求和批量執行，縮短了通信消耗的時間。

Memcache也使用了非阻塞I/O模型，但是使用了多線程，可以應用於多種場景，請求的邏輯可大可小、可長可短，不會出現一個邏輯複雜的請求阻塞對其它請求的響應的場景。它直接依賴Libevent庫實現，依賴比較複雜，損失了在一些特定環境下的高性能。

3．持久機制

Redis提供了兩種持久機制，包括RDB和AOF，前者是定時的持久機制，但在出現宕機時可能會出現數據丟失，後者是基於操作日誌的持久機制。

Memcahe並不提供持久機制，因為Memache的設計理念就是設計一個單純的緩存，緩存的數據都是臨時的，不應該是持久的，也不應該是一個大數據的資料庫，緩存未命中時回源查詢資料庫是天經地義的，但可以通過第三方庫MemcacheDB來支持它的持久性。

4．客戶端

常見的Redis Java客戶端Jedis使用阻塞I/O，但可以配置連接池，並提供了一致性哈希分片的邏輯，也可以使用開源的客戶端分片框架Redic。

Memecache的客戶端包括Memcache Java Client、Spy Client、XMemcache等，Memcache Java Client使用阻塞I/O，而Spy Client/XMemcache使用非阻塞I/O。

我們知道，阻塞I/O不需要額外的線程，非阻塞I/O會開啟額外的請求線程（在Boss線程池裡）監聽埠，一個請求在處理後就釋放工作者線程（在Worker線程池中），請求線程在監聽到有返回結果時，一旦有I/O返回結果就被喚醒，然後開始處理響應數據並寫回網路Socket連接，所以從理論上來講，非阻塞I/O的吞吐量和響應能力會更高。

5．高可用

Redis支持主從節點複製配置，從節點可使用RDB和緩存的AOF命令進行同步和恢復。Redis還支持Sentinel和Cluster（從3.0版本開始）等高可用集群方案。

Memecache不支持高可用模型，可使用第三方Megagent代理，當一個實例宕機時，可以連接另外一個實例來實現。

6．對隊列的支持

Redis本身支持lpush/brpop、publish/subscribe/psubscribe等隊列和訂閱模式。

Memcache不支持隊列，可通過第三方MemcachQ來實現。

7．事務

Redis提供了一些在一定程度上支持線程安全和事務的命令，例如：multi/exec、watch、inc等。由於Redis伺服器是單線程的，任何單一請求的伺服器操作命令都是原子的，但跨客戶端的操作並不保證原子性，所以對於同一個連接的多個操作序列也不保證事務。

Memcached的單個命令也是線程安全的，單個連接的多個命令序列不是線程安全的，它也提供了inc等線程安全的自加命令，並提供了gets/cas保證線程安全。

8．數據淘汰策略

Redis提供了豐富的淘汰策略，包括maxmemory、maxmemory-policy、volatile-lru、allkeys-lru、volatile-random、allkeys-random、volatile-ttl、noeviction(return error)等。

Memecache在容量達到指定值後，就基於LRU（Least Recently Used）演算法自動刪除不使用的緩存。在某些情況下LRU機制反倒會帶來麻煩，會將不期待的數據從內存中清除，在這種情況下啟動Memcache時，可以通過「M」參數禁止LRU演算法。

9．內存分配

Redis為了屏蔽不同平台之間的差異及統計內存佔用量等，對內存分配函數進行了一層封裝，在程序中統一使用zmalloc、zfree系列函數，這些函數位於zmalloc.h/zmalloc.c文件中。封裝就是為了屏蔽底層平台的差異，同時方便自己實現相關的統計函數。具體的實現方式如下：

若系統中存在Google的TC_MALLOC庫，則使用tc_malloc一族的函數代替原本的malloc一族的函數。

若當前系統是Mac系統，則使用系統的內存分配函數。

對於其它情況，在每一段分配好的空間前面同時多分配一個定長的欄位，用來記錄分配的空間大小，通過這種方式來實現簡單有效的內存分配。

Memcache採用slab table的方式分配內存，首先把可得的內存按照不同的大小來分類，在使用時根據需求找到最接近於需求大小的塊分配，來減少內存碎片，但是這需要進行合理配置才能達到效果。

從上面的對比可以看到，Redis在實現和使用上更簡單，但是功能更強大，效率更高，應用也更廣泛。下面將對Redis進行初步介紹，給初學者一個初體驗式的學習引導。

二、Redis初體驗

Redis是一個能夠存儲多種數據對象的開源Key-Value存儲系統，使用ANSI C語言編寫，可以僅僅當作內存資料庫使用，也可以作為以日誌為存儲方式的資料庫系統，並提供多種語言的API。

1．使用場景

我們通常把Redis當作一個非本地緩存來使用，很少用到它的一些高級功能。在使用中最容易出問題的是用Redis來保存JSON數據，因為Redis不像Elasticsearch或者PostgreSQL那樣可以很好地支持JSON數據。所以我們經常把JSON當作一個大的String直接放到Redis中，但現在的JSON數據都是連環嵌套的，每次更新時都要先獲取整個JSON，然後更改其中一個欄位再放上去。

一個常見的JSON數據的Java對象定義如下：

public class Commodity {

private long price;

private String title;

……

}

在海量請求的前提下，在Redis中每次更新一個欄位，比如銷量欄位，都會產生較大的流量。在實際情況下，JSON字元串往往非常複雜，體積達到數百KB都是有可能的，導致在頻繁更新數據時使網路I/O跑滿，甚至導致系統超時、崩潰。

因此，Redis官方推薦採用哈希來保存對象，比如有3個商品對象，ID分別是123、124和12345，我們通過哈希把它們保存在Redis中，在更新其中的欄位時可以這樣做：

HSET commodity:123 price 100

HSET commodity:124 price 101

HSET commodity:12345 price 101

HSET commodity:123 title banana

HSET commodity:124 title apple

HSET commodity:12345 title orange

也就是說，用商品的類型名和ID組成一個Redis哈希對象的KEY。在獲取某一屬性時只需這樣做就可以獲取單獨的屬性：HGET commodity: 12345。

2．Redis的高可用方案：哨兵

Redis官方推出了一個集群管理工具，叫作哨兵（Sentinel），負責在節點中選出主節點，按照分散式集群的管理辦法來操作集群節點的上線、下線、監控、提醒、自動故障切換（主備切換），且實現了著名的RAFT選主協議，從而保證了系統選主的一致性。

這裡給出一個哨兵的通用部署方案。哨兵節點一般至少要部署3份，可以和被監控的節點放在一個虛擬機中，常見的哨兵部署如圖所示。

在這個系統中，初始狀態下的機器A是主節點，機器B和機器C是從節點。

由於有3個哨兵節點，每個機器運行1個哨兵節點，所以這裡設置quorum = 2，也就是在主節點無響應後，有至少兩個哨兵無法與主節點通信，則認為主節點宕機，然後在從節點中選舉新的主節點來使用。

在發生網路分區時，若機器A所在的主機網路不可用，則機器B和機器C上的兩個Sentinel實例會啟動failover並把機器B選舉為主節點。

Sentinel集群的特性保證了機器B和機器C上的兩個Sentinel實例得到了關於主節點的最新配置。但機器A上的Sentinel節點依然持有舊的配置，因為它與外界隔離了。

在網路恢復後，我們知道機器A上的Sentinel實例將會更新它的配置。但是，如果客戶端所連接的主機節點也被網路隔離，則客戶端將依然可以向機器A的Redis節點寫數據，但在網路恢復後，機器A的Redis節點就會變成一個從節點，那麼在網路隔離期間，客戶端向機器A的Redis節點寫入的數據將會丟失，這是不可避免的。

如果把Redis當作緩存來使用，那麼我們也許能容忍這部分數據的丟失，但若把Redis當作一個存儲系統來使用，就無法容忍這部分數據的丟失了，因為Redis採用的是非同步複製，在這樣的場景下無法避免數據的丟失。

在這裡，我們可以通過以下配置來配置每個Redis實例，使得數據不會丟失：

min-slaves-to-write 1

min-slaves-max-lag 10

通過上面的配置，當一個Redis是主節點時，如果它不能向至少一個從節點寫數據（上面的min-slaves-to-write指定了slave的數量），則它將會拒絕接收客戶端的寫請求。由於複製是非同步的，所以主節點無法向從節點寫數據就意味著從節點要麼斷開了連接，要麼沒在指定的時間內向主節點發送同步數據的請求。

所以，採用這樣的配置可排除網路分區後主節點被孤立但仍然寫入數據，從而導致數據丟失的場景。

3．Redis集群

Redis在3.0中也引入了集群的概念，用於解決一些大數據量和高可用的問題，但是，為了達到高性能的目的，集群不是強一致性的，使用的是非同步複製，在數據到主節點後，主節點返回成功，數據被非同步地複製給從節點。

首先，我們來學習Redis的集群分片機制。Redis使用CRC16(key) mod 16384進行分片，一共分16384個哈希槽，比如若集群有3個節點，則我們按照如下規則分配哈希槽：

A節點包含0-5500的哈希槽；

B節點包含5500-11000的哈希槽；

C節點包含11000-16384的哈希槽。

這裡設置了3個主節點和3個從節點，集群分片如圖所示。

圖中共有3個Redis主從伺服器的複製節點，其中任意兩個節點之間都是相互連通的，客戶端可以與其中任意一個節點相連接，然後訪問集群中的任意一個節點，對其進行存取和其他操作。

那Redis是怎麼做到的呢？首先，在Redis的每個節點上都會存儲哈希槽信息，我們可以將它理解為是一個可以存儲兩個數值的變數，這個變數的取值範圍是0-16383。根據這些信息，我們就可以找到每個節點負責的哈希槽，進而找到數據所在的節點。

Redis集群實際上是一個集群管理的插件，當我們提供一個存取的關鍵字時，就會根據CRC16的演算法得出一個結果，然後把結果除以16384求餘數，這樣每個關鍵字都會對應一個編號為0-16383的哈希槽，通過這個值找到對應的插槽所對應的節點，然後直接自動跳轉到這個對應的節點上進行存取操作。但是這些都是由集群的內部機制實現的，我們不需要手工實現。

新書搶先看

本文節選自即將出版的《可伸縮服務架構：框架與中間件》一書，此書現已開放預售，可登錄網址：https://item.jd.com/12308233.html 搶先訂購。更多新書精華內容也將由DBAplus社群陸續呈現。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！