原來Netflix比你更了解你想看什麼！大數據推敲出觀影習慣

Netflix比你更了解想看什麼大數據推敲出觀影習慣

【科幻直通車】請關注本企鵝號，好玩的科學科技科幻消息隨時從外星直接發過來！

Netflix 能竄起成為世界首屈一指，提供多媒體影音串流服務的OTT（Over The Top） 業者絕非僥倖，它已經憑藉著精細、準確的巨量數據分析，成功地從單純提供網路串流影音服務跨到影音內容製作，絕對是網路影音時代的成功典範。

從實體DVD 租賃轉向影音串流服務

Netflix 於1997 年在美國加州成立，然而當時提供的並不是多媒體影音串流服務，而是DVD 租賃服務，在當時提供DVD 租賃最知名的是現在已經謝幕的百視達（BlockBuster），百視達當時採取的是消費者自行到實體門市取片與還片的模式，然而Netflix 卻完全捨棄實體通路，而推出會員訂閱制，顧客每個月支付月租費後，直接在網站上從數萬部的影片庫中，選取並列出想看的影片清單，Netflix 會依照不同月租費費率，寄出數量不等的DVD 給顧客，等顧客把DVD 寄還後，再寄出清單上的其它DVD 。

創維(Skyworth) T2智能網路電視機頂盒4核16G快閃記憶體 安卓電視盒子高清播放器無線wifi

雖然會員訂閱制大獲成功，2007 年甚至宣布第10 億張出租DVD 的驚人數字，但是著眼於DVD 租賃市場即將飽和，以及網路速度提升後網路影音服務的潛力，Netflix 在同年也宣布啟動多媒體影音串流服務，2010 年從鄰居加拿大開始，將觸角從美國伸向海外，並陸續進軍歐洲與亞洲市場，截至2016 年10 月為止，已經在超過190 個國家提供服務，訂閱會員超過8,600 萬，Netflix 在2011 年3 月起，更從單純的影音串流服務平台業者，跨足內容生產領域，推出紙牌屋（House of Cards）影集後一炮而紅，成為Netflix 的招牌作品。

根據最新一季的統計資料，Netflix 在2016 年Q3 的會員數增加了350 萬，並且創造了有史來最佳的季度營收22 億美金，其中有40% 都是來自美國以外的市場，Netflix 的成功不只來自具競爭力的訂價（美國地區月費最低8 美金起跳），方便的即選即看模式，甚至是成功的行銷策略，更重要的是它巨細靡遺的巨量數據分析帶來的影片推薦系統。

在Netflix 仍只是提供DVD 租賃業務時，唯一能掌握的使用者喜好資料，只有每次使用者填寫的影片星數評比，這也是當時Netflix 優化推薦系統的唯一數據，然而，在開始進入多媒體影音串流服務後，就開始有了大量的數據可以進行分析，例如使用者看了什麼，使用者怎麼看的（哪種裝置、幾點鐘看的、星期幾看的、一次會看多久），點選Netflix 的頁面上哪個地方的影片，甚至哪些推薦影片是完全沒被點過的等，這些數據以及這些數據分析出來的結果都被用來讓Netflix 預測使用者究竟想看什麼影片。

透過Netflix 網站服務巨細靡遺的收集使用者行為

當使用者開始登入Netflix 觀賞影片的時候，Netflix 就會將一個觀看（view）記錄在資料系統內，並且利用各種事件（events）來描述這個觀看行為，也就是使用者從訂閱開始，產生的每一個行為，都會被紀錄成事件，包括使用者的搜尋、評分、觀看地點、裝置資訊、瀏覽Netflix 網站行為、時間、日期，或者是快轉、暫停，以及觀看地點，裝置資訊，其它第三方資訊，甚至是社群網站資料。

在Netflix 的網站的隱私權聲明，詳述了所收集的資訊：

資訊收集

我們收到和儲存您的資訊，如：

您向我們提供的資訊：我們收集您向我們提供的資訊包括：

您的姓名、電郵地址、住址或郵遞區號、付費方式和電話號碼。我們通過多種方式收集這些資訊，包括您使用我們的服務時輸入的資訊、與我們的客戶服務互動或參與調查或促銷活動時輸入的資訊；以及

在您選擇撰寫評論或評分、愛好設定、帳戶設定、設置「您的帳戶」偏好或以其他方式通過我們的服務或在其他地方向我們提供資訊時，收集到的資訊。

我們自動收集的資訊：我們收集有關您、您使用我們的服務、與我們的互動及您使用我們廣告的資訊，以及有關您使用電腦或其他裝置（如：遊戲系統、智慧型電視、行動裝置和機上盒）存取我們的服務的資訊。這些資訊包括：

您在Netflix服務的動態，如：標題選擇、觀看歷史和搜索查詢；

有關您與客戶服務互動的詳情，例如：您聯繫我們的日期、時間和原因、任何聊天對話記錄以及您致電聯繫我們時的電話號碼；

裝置ID或唯一識別碼，裝置和軟體的特點（如：類型和配置）、連接資訊、網頁查看、推薦URL、IP位址和標準網路日誌資訊統計；

通過使用Cookie 、網路信標與其他技術而收集的資訊，包括廣告資料（如：傳輸至Cookie的頁面印象資訊、頁面印象傳輸的網站URL以及日期和時間）。如需更多詳情，請參閱Cookie與網際網路廣告章節。

從其他來源獲取的資訊：我們可能用從其他來源獲取的資訊（包括來自線上和離線資料提供者的資訊）補充上述資訊。此類補充資訊可能包括人口資料、基於興趣的資料和網際網路瀏覽行為。

收集的資訊使用在何種用途，也註明在「資訊使用」一節：

資訊使用

我們使用所收集的資訊來提供、分析、管理、提升我們的服務和行銷工作，使我們的服務和行銷工作個人化，處理您的註冊、您的訂單和支付，並與您就這些主題和其他主題進行溝通交流。例如，我們把所收集的資訊用於：

判定您的大致地理位置、以當地語言提供內容、向您提供客制化和個人化觀影推薦、推薦您我們覺得您會喜歡的電影與節目、判定您的網際網路服務提供者以及幫助我們迅速有效率地回應您的詢問及要求；

防止、監測和調查潛在的被禁止或非法活動（包括詐欺），以及執行我們的條款（如：決定免費試用資格）；

分析和了解我們的觀眾；改進我們的服務（包括我們的使用者介面體驗）、傳輸最佳化、內容選擇和推薦演演算法；

與您溝通交流我們的服務（例如：通過電郵、推送通知和簡訊），以便我們可以向您發送有關Netflix公司的資訊、Netflix新功能和內容的詳情、特別優惠、促銷消息和消費者調查，並協助您辦理密碼重設等操作請求。請參閱本隱私權聲明的「您的選擇」章節，了解如何設置或更改您的通訊偏好設定。

使用者這次的觀看花了多少時間，資料系統就要持續記錄過程中發生的所有事件，因此就需要一個強大且具擴充性的資料平台架構才能處理這麼龐大的資料，而這也是Netflix 能成功的最重要關鍵。

採用強大且可擴充的特殊Hadoop 資料平台架構

根據統計，Netflix 數據平台每天接收的資料約1.3PB 資料（ 約5000億次事件），如果是在尖峰時段，則是每秒約24GB 資料（800 萬次事件）），因此免不了一定是採用Hadoop 平台架構處理，並且一定要持續在擴充容量，然而Netflix 的Hadoop 平台，和傳統以資料中心為基礎的Hadoop 平台不同，Netflix 直接在雲端上建立了一個幾乎擁有無限儲存空間且無限運算能力的資料倉儲（ data warehouse）。

一般的Hadoop 平台架構，其檔案都是儲存在Hadoop 分散式檔案系統（Hadoop Distributed File System, HDFS），Hadoop 分散式檔案系統可以在一般的商用硬體上面運作，並且對大型資料集提供容錯與高通量存取，因此多數公司的傳統作法，都是將資料倉儲建立在雲端Hadoop 集群上的Hadoop 分散式檔案系統。然而，Netflix 卻是選擇把資料儲存在亞瑪遜雲端服務（ Amazon Web Service, AWS）S3 上。

Netflix 的Hadoop 平台架構圖（資料來源：Hadoop Platform as a Service in the Cloud）

架構圖中最底層的S3 是用來儲存所有值得保存的資料集，包括每個小時從Netflix 服務上傳過來的數十億計的各種事件，以及其它的維度資料（dimension data）。S3 保證具有99.999999999% 的持續性（dutality），以及99.99% 的可用性（availability），能夠容許兩個裝置同時損失資料；同時也可以允許存在多版本資料，使用者不小心誤刪就可以將資料回復；S3 也具有可以隨時無限擴充的彈性，不需要替未來的資料預留儲存空間；S3 也可以同時運作多個、高度動態集群。

Netflix 在處理巨量數據上，則是採用Amazon"s Elastic MapReduce (EMR) distribution，這是一種能夠簡易地快速及低成本的處理大量資料的網路服務，用來針對同樣一批資料，同時啟動多個Hadoop 集群來處理不同的工作負載（workloads）。在Netflix 的Hadoop 架構的工具層里，使用了Hive 來處理即時查詢（ad hoc queries）與分析（analytics），用Pig 處理ETL 跟演演算法，以Vanilla java 為基礎的MapReduce 也偶爾用來處理複雜的演演算法，Python 則用來製作腳本。

Netflix 在工具層之上則採用了Genie，這是它們自建的Hasoop 平台即服務，讓Netflix 可以方便的在Hadoop 環境中進行工作處理與資源調度。下一篇將會介紹Netflix如何利用這些數據達成精準的推薦系統。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！