一件有趣的事:我用 Python 爬了爬自己的微信朋友
最近幾天幹啥都不來勁,昨晚偶然了解到 Python 里的 itchat 包,它已經完成了 wechat 的個人賬號 API 介面,使爬取個人微信信息更加方便。鑒於自己很早之前就想知道諸如自己微信好友性別比例都來自哪個城市之類的問題,於是乎玩心一起,打算爬一下自己的微信。
首先,在終端安裝一下 itchat 包。
pip install itchat
安裝完成後導入包,再登陸自己的微信。過程中會生產一個登陸二維碼,掃碼之後即可登陸。登陸成功後,把自己好友的相關信息爬下來。
import itchat
itchat.login()
#爬取自己好友相關信息, 返回一個json文件
friends = itchat.get_friends(update=True)[0:]
有了上面的 friends 數據,我們就可以來做分析啦。
自己微信好友的男女比例
仔細觀察了一下返回的數據結構,發現」性別「是存放在一個字典裡面的,key 是」Sex「,男性值為 1,女性為 2,其他是不明性別的(就是沒有填的)。可以寫個循環獲取想要的性別數據,得到自己微信好友的性別比例。
#初始化計數器
male = female = other = 0
#friends[0]是自己的信息,所以要從friends[1]開始
for i in friends[1:]:
sex = i["Sex"]
if sex == 1:
male += 1
elif sex == 2:
female += 1
else:
other +=1
#計算朋友總數
total = len(friends[1:])
#列印出自己的好友性別比例
print("男性好友: %.2f%%" % (float(male)/total*100) + "
" +
"女性好友: %.2f%%" % (float(female) / total * 100) + "
" +
"不明性別好友: %.2f%%" % (float(other) / total * 100))
列印的結果為:
男性好友:37.65%
女性好友:59.23%
不明性別好友:3.12%
啊,一不小心就暴露了自己女性朋友比較多的事實。然而為什麼我現在還是一隻汪?!好了,再把這個數據用R畫成圖看看(Python 作圖真的是忍不了,代碼就不放了):
自己微信好友的城市分布
再仔細觀察 friends 列表,發現裡面還包含了好友昵稱、省份、城市、個人簡介等等的數據,剛好可以用來分析好友城市分布,最好的方式是定義一個函數把數據都爬下來,存到數據框里,再進行分析。
#定義一個函數,用來爬取各個變數
def get_var(var):
variable = []
for i in friends:
value = i[var]
variable.append(value)
return variable
#調用函數得到各變數,並把數據存到csv文件中,保存到桌面
NickName = get_var("NickName")
Sex = get_var("Sex")
Province = get_var("Province")
City = get_var("City")
Signature = get_var("Signature")
from pandas import DataFrame
data = {"NickName": NickName, "Sex": Sex, "Province": Province,
"City": City, "Signature": Signature}
frame = DataFrame(data)
frame.to_csv("data.csv", index=True)
以上便得到一個叫 data 的 csv 桌面文件, 用 R 打開並簡單做一下數據預處理,得到如下(涉及隱私的已被預處理):
City NickName Province Sex Signature
1 Alfred 男 一個專註挖礦的,煎得一手好牛排#stay focused.
2 馬鞍山 月* 安徽 女 你太虛偽了
3 花地瑪堂區 M*** 澳門 女 雙子,天秤,白羊
4 嘉*** 女
5 廣州 西* 廣東 女
6 珠海 浪**** 廣東 男 滿目青山空念遠,不如惜取眼前人。
# ... with *** more rows
接著先根據省份、城市進行數據的分組和聚合,選擇排名前二十的,利用 ggplot2 包畫出如下的城市分布圖(代碼太長,不放了,就是這麼任性,有需要參考的直接向我拿):
看來我大部分的朋友都是在廣東的(不是廢話嗎),其中廣東的朋友大部分集中在廣、深、珠,第二名是在奧克蘭, 接著是四川、澳門等。灰色的 NA 值是指沒有設置自己所在地的朋友,一共有 70 多人。
另外,在國外的朋友由於微信的設置問題(很多是直接跳過省份,只有城市可以選擇的),很多國外的城市被誤當成了省份。
自己微信好友個性簽名的自定義詞雲圖
好玩的來了。之前已經爬下了每個好友的個性簽名,剛好可以分析一下大伙兒個性簽名時使用的高頻詞語是什麼,順便可以做個詞雲圖。
先把原先爬下來的個性簽名(Signature)列印出來,發現有很多本來是表情的,變成了 emoji、span、class 等等這些無關緊要的詞,需要先替換掉,另外,還有類似/= 之類的符號,也需要寫個簡單的正則替換掉,再把所有拼起來,得到 text 字串。
import re
siglist = []
for i in friends:
signature = i["Signature"].strip().replace("span","").replace("class","").replace("emoji","")
rep = re.compile("1fd+w*|[/=]")
signature = rep.sub("", signature)
siglist.append(signature)
text = "".join(siglist)
接著就可以把 JB,啊不,把結巴分詞這個包搞進來分詞。
import jieba
wordlist = jieba.cut(text, cut_all=True)
word_space_split = " ".join(wordlist)
終於可以進入畫圖階段了。可以根據自己想要的圖片、形狀、顏色畫出相似的圖形(在這裡,我使用的是我的頭像,當然,為了顏色可以更加鮮艷使最後畫出的詞雲圖更加好看易辨,我先對自己的頭像用 PS 做了一點小處理)。為此,我們需要把 matplotlib、wordcloud、numpy、PIL 等包搞進來。
import matplotlib.pyplot as plt
from wordcloud import WordCloud, ImageColorGenerator
import numpy as np
import PIL.Image as Image
coloring = np.array(Image.open("/Users/apple/Desktop/wechat.jpg"))
my_wordcloud = WordCloud(background_color="white", max_words=2000,
mask=coloring, max_font_size=60, random_state=42, scale=2,
font_path="/Library/Fonts/Microsoft/SimHei.ttf").generate(word_space_split)
image_colors = ImageColorGenerator(coloring)
plt.imshow(my_wordcloud.recolor(color_func=image_colors))
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()
運行上面的代碼,得到下面的圖:
看來,在我的微信好友的個人簽名里,有人善於聆聽,有人強調善良,有人重視靈魂,有人凝視人生。一直在等待,不放棄尋找。歷盡曲折,不畏虛偽。真心如一,不能辜負。一步一生多努力,一起一切 one more dream(真編不下去了)。
最後
以上是不是很有趣呢?是不是又打開了一扇新世界的大門呢?
我微信好友也不是太多,如果微信好友有幾千個,可以得到幾千條數據,分析一下還是很有價值的。
想要系統學習python和免費學習資料的 可以加裙 四七四五三四九五一
※用Python攻破12306的最後一道防線,我看一遍就會了!
※Python如何解析fasta格式,並儲存為字典?
※Python 如何編寫一個拼寫糾錯器?
※詳解基於樸素貝葉斯的情感分析及Python實現
※專為滲透測試人員設計的Python工具大合集
TAG:Python |
※被小朋友叫「阿姨」Angelababy是這樣回應的,人美心善想不火都難
※我跟你講男朋友不送Chanel、YSL無所謂,這些好用的彩妝老子自己可以一打一打買!
※他們是Michael的朋友
※有朋友買手機最終選擇了OPPO、vivo,我真的需要阻止ta嗎?
※哎?朋友,你知道「了不起的Berluti」嗎?
※年後,你的朋友又少了嗎「asIknow」
※LeCun再度回應卸任:我沒有被取代,Jér?me 的朋友爆料趣事
※你究竟和誰是朋友?Facebook 說,答案在手機鏡頭的劃痕里
※怎麼用iPhone6s給女朋友拍出很滿意的照片?
※tfboys三小隻的這些小細節你注意到了嗎?當他們的女朋友也太幸福了吧
※為何選擇doinb做你的男朋友?糖小幽:因為我不喜歡吵架
※從何時開始,你的朋友只剩下Siri了
※嚇人!蘋果系統被曝最新漏洞!把這個簡訊發你朋友,立馬讓他的iPhone或mac崩潰!
※Valentine s Day,送男朋友/女朋友什麼不爛大街?
※朋友們聚在一起開黑,沒有wifi怎麼能行!
※為什麼不要iPhone7,選了華為Mate10?朋友幾句話令我恍然大悟
※情人節除了dures,你還可以送什麼給你的男朋友?
※Siri讓我想起女朋友,Alexa讓我想起我媽
※想送女朋友一雙Air Jordan球鞋,該如何選擇
※Reddit: 朋友居然放火燒我的貓