Python代碼的性能優化：測試內存消耗

Python部落(python.freelycode.com)組織翻譯，禁止轉載，歡迎轉發。

在這篇文章中，我會介紹一些能在Python中幫助我們解決痛苦問題的工具，特別是當我們使用PyPy時的內存消耗問題。

為什麼我們第一個關心這個問題呢？為什麼我們不僅僅關心性能？這些問題的答案非常複雜，但我會總結出來。

PyPy是一個可選的Python解釋器，它具有比CPython更大的優勢：速度（通過它的JIT編譯器），兼容性（幾乎可以替代CPyton）和並發性（使用stackless和greenlets）。

PyPy有一個缺點，由於它的JIT和垃圾一樣的回收站實現，所以它通常會比CPython使用更多的內存。然而在某些情況下，它能夠比CPython消耗更少的內存。

接下來我們來看看如何測量你的程序使用了多少內存。

診斷內存的使用情況

memory_profiler

這是一個可以用於測量解釋器運行一個負載時使用的內存量的庫，名稱為memory_profiler。它可以通過pip安裝：

並且需要安裝psutil依賴包：

這個工具的優點是會在Python腳本中一行行的顯示內存的消耗。這有助於我們從腳本中找到可以重寫的地方，但這種分析帶來了一個缺點。你的代碼將比一般的腳本運行慢10到20倍。

怎麼使用它呢？你只需要將@profile添加到你需要測試的函數中就可以了。

讓我們看看它的運行吧！我們將使用我們之前文章中的素材腳本作為模型，稍微修改以刪除統計部分。它可以在GitHub上查看。

https://github.com/apatrascu/hunting-python-performance/blob/master/02.primes-v1.py

開始測試，需要使用以下PyPy命令：

或者更簡短，通過直接在腳本中導入memory_profiler：

執行這一行代碼之後，我們將看到PyPy得到如下的結果：

我們可以看到這個腳本使用了24.371094MiB的RAM。讓我們分析一下，我們看到其中大多數是在構建數組時使用，這個數組排除了偶數，保存了所有其他的數值。

我們可以通過調用range函數來改善這一點，其使用一個增量參數。

如果再次測試，我們會看到如下結果：

不錯，現在我們的內存消耗降到了22.75MiB。消耗可以通過使用列表解析（list comprehension）再次降低。

再次測試：

我們腳本的最終版本僅消耗了22.451875MiB。這幾乎比第一個版本減少了10%。

英文原文：https://pythonfiles.wordpress.com/2017/05/18/hunting-python-performance-part-2/
譯者：南北丶

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！