我用Python爬了12萬條影評，告訴你《戰狼Ⅱ》都在說些啥
點擊上方「
Python開發
」，選擇「置頂公眾號」
關鍵時刻，第一時間送達！
截止到 8 月 20 日，《戰狼Ⅱ》上映的第 25 天，它的票房已超 50 億人民幣，真正成為唯一一部挺進世界影史票房前 100 名的亞洲電影。
拋開爆炸的票房不說，電影還激起了觀眾各種情緒，甚至有人放狠話說：敢噴《戰狼Ⅱ》的，要麼是智障，要麼是公敵，就是這麼簡單粗暴。
大家對《戰狼Ⅱ》褒貶不一，紛紛在豆瓣短評上面留言，表達自己對這部電影的看法。
儘管各路評論出街，媒體鬧得沸沸揚揚，觀眾還是傻傻分不清楚哪邊意見比較靠譜。截至目前已經有超過十五萬的評論，在你看評論的時候，你可能在一段時間裡看到的大部分是表揚或者是貶低的評論。
那麼通過瀏覽評論我們很難看出大家對於這部電影的總體情況。現在讓我們通過數據分析的方法看看在這些評論中究竟發生了什麼有趣的事情！
本文通過 Python 爬蟲的方式獲取數據，對豆瓣電影評論進行分析，製作了豆瓣影評的雲圖。
現在，讓我們來看看，《戰狼Ⅱ》評論里到底藏著哪些有趣的潛台詞。
數據的獲取
本文採用的是 Python 爬蟲的方式獲取的數據，用到的主要是 requests 包與正則包 re，該程序並未對驗證碼進行處理。
之前也爬取過豆瓣的網頁，當時由於爬取的內容少，所以並沒有遇到驗證碼的事情。
在寫本文爬蟲的時候，原以為也不會有驗證碼，但是當爬取到大概 15000 個評論的時候跳出來驗證碼。
然後我就想不就是十二萬嗎？最多我也就是輸入大概十幾次驗證碼，所以就沒有處理驗證碼的事情。
但是接下來的事情就有點坑到我了，爬取 15000 左右評論並輸入驗證碼的時候，我以為會接下來爬取到 30000 左右，可是才爬了 3000 左右就不行了，還是要輸驗證碼。
然後就一直這樣，跌跌撞撞，有時候爬取好長時間才需要驗證碼，有時候則不是。不過最後還是把評論爬取下來了。
爬取的內容主要是：用戶名，是否看過，評論的星星點數，評論時間，認為有用的人數，評論內容。參看下圖（用戶名已隱藏）：
這個是影評的起始頁：豆瓣影評。
以下是 Python 爬蟲的代碼：
import requests
import re
import pandas as
pdurl_first="https://movie.douban.com/subject/26363254/comments?start=0"
head={"User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/59.0.3071.109 Chrome/59.0.3071.109 Safari/537.36"}
html=requests.get(url_first,headers=head,cookies=cookies)
cookies=
{"cookie":"你自己的cookie"} #也就是找到你的賬號對應的cookie
reg=re.compile(r"<a href="(.*?)&.*?class="next">") #下一頁
ren=re.compile(r"<span class="votes">(.*?)</span>.*?comment">(.*?)</a>.*?</span>.*?<span.*?class="">(.*?)</a>.*?<span>(.*?)</span>.*?title="(.*?)"></span>.*?title="(.*?)">.*?class=""> (.*?) ",re.S) #評論等內容
while html.status_code==200:
url_next="https://movie.douban.com/subject/26363254/comments"+re.findall(reg,html.text)[0]
zhanlang=re.findall(ren,html.text)
data=pd.DataFrame(zhanlang)
data.to_csv("/home/wajuejiprince/文檔/zhanlang/zhanlangpinglun.csv", header=False,index=False,mode="a+") #寫入csv文件,"a+"是追加模式
data=[]
zhanlang=[]
html=requests.get(url_next,cookies=cookies,headers=head)
以上代碼注意設置你自己的 User-Agent，Cookie，CSV 保存路徑等。
爬取的內容保存成 CSV 格式的文件，保存的文件內容如下:
數據清洗
本文用 R 語言來處理數據，雖然在爬取的時候已經非常注意爬取內容的結構了，但是還是不可避免的有一些值不是我們想要的。
比如有的評論內容會出現在評論者這一項中，所以還是有必要進行一下數據的清洗。
首先載入要用到的所有包：
library(data.table)
library(plotly)
library(stringr)
library(jiebaR)
library(wordcloud2)
library(magrittr)
導入數據並清洗：
dt<-fread(file.choose()) #導入數據
dt[,c("V8","V9","V10","V11","V12","V13"):=NULL] #刪除空列
#一條命令清洗數據
my_dt<-dt[str_detect(贊成評論數,"d+")][評論有用=="有用"][是否看過=="看過"][五星數%in%c("很差","較差","還行","推薦","力薦")]
數據淺析
先來看一看通過星星數評論的情況：
plot_ly(my_dt[,.(.N),by=.(五星數)],type = "bar",x=~五星數,y=~N)
五角星的個數對應 5 個等級，5 顆星代表力薦，4 顆星代表推薦，3 顆星代表還行，2 顆星代表較差，1 顆星代表很差。
通過五角星的評論顯而易見，我們有理由相信絕大部分觀看者對這部影片持滿意態度。
對評論結果的雲圖展示
首先我們應該先進行評論的分詞：
wk <- worker()
sw<-function(x){wk<=x}
segwords<-lapply(my_dt[,評論內容],sw)
my_segwords<-unlist(segwords) #不要列表
#去除停止詞
st<-readLines(file.choose()) #讀取停止詞
stopwords<-c(NULL)
for(i in 1:length(st))
{
stopwords[i]<-st[i]
}
seg_Words<-filter_segment(my_segwords,stopwords) #去除中文停止詞
總體評論雲圖展示：
words<-table(seg_Words)%>%data.table()
setnames(words,"N","pinshu")
words[pinshu>1000] #去除較低頻數的辭彙（小於1000的）
wordcloud2(words[pinshu>1000], size = 2, fontFamily = "微軟雅黑",color = "random-light", backgroundColor = "grey")
由於數據太多，導致我的破電腦卡頓，所以在製作雲圖的時候去掉了頻數低於 1000 的辭彙。
雲圖結果如下：
整體來看，大家對這不影片的評論還是不錯呀！劇情，動作，愛國等話題是大家談論的焦點。
評價關鍵詞：吳京、個人英雄主義、主旋律、中國、主角光環、達康書記、很燃。
可見，「燃」並不是看完之後的最多反饋，觀眾更多是對吳京本人的讚歎，以及對愛國主義和個人主義的評價。
不同評論等級的雲圖展示
但是如果把不同評價的人的評論分別展示會是什麼樣子呢？
也就是對五個等級（力薦，推薦，還行，較差，很差）的評論內容製作雲圖，代碼如下（只要改變代碼中力薦為其他即可）：
力薦的評論人的評論雲圖
推薦的評論人的評論雲圖
還行的評論人的評論雲圖
較差的評論人的評論雲圖
很差的評論人的評論雲圖
結論
從不同的評論的分詞結果來看，他們都有一個共同的話題：愛國。
在力薦的評論中可能愛國話題的基數比很差的評論中的多，在力薦的評論中人們更願意討論的是愛國話題之外的事情。在很差的評論中人們討論的大多是愛國話題。而且他們占的比例很有意思，從力薦的人到評論很差的人，愛國話題的比例逐漸增加。
我們不能主觀的認為誰對誰錯，只能說他們站在的角度不一樣，所以看到的結果也不太一樣。當我們和別人意見不同時，往往是所處的角度不同。評論很差的人考慮的更多的是愛國的話題吧（這裡只是愛國話題的討論，並不是誰愛不愛國）！！
分析完了，這部《戰狼2》之所以能獲得這麼多人的支持，根本原因還是在於從製作上實現了《戰狼1》所沒有的美國大片級大場面，同時在愛國主義上引起了共鳴，激起了民心。
電影結尾預告了《戰狼3》，我想必然會是一部更成功的電影，50 億的票房預示著吳京在 3 上容易吸引更豐厚的資本投資。
投資多了意味著特效也會更牛逼，而《戰狼2》里劇情上還有很大的進步空間，更有深度的劇情+更炫的畫面+愛國主義+個人英雄主義+吳京口碑，《戰狼3》絕對上天。
來自：數據分析小王子
鏈接：https://zhuanlan.zhihu.com/p/28475619
姓名：麥艷濤，網名：挖掘機小王子
個人網站：挖掘機小王子
個人簡介：數據分析愛好者
【點擊聽勁爆情歌】
※Python爬蟲：抓取手機APP的數據
※一位程序媛眼中的程序員
※不小心刪除了資料庫，是什麼樣的體驗 ？
※PyPy打算推出無 GIL 版本，或和默認版本分開發行
TAG:Python開發 |