使用 parallel 利用起你的所有 CPU 資源

bash 命令通常單線程運行。這意味著所有的處理工作只在單個 CPU 上執行。隨著 CPU 規模的擴大以及核心數目的增加，這意味著只有一小部分的 CPU 資源用於處理你的工作。

-- Elliot Cooper

本文導航

? 如何使用 parallel

17%

? 使用 parallel 來進行 JPEG 壓縮

37%

? parallel 與 gzip 連用

69%

編譯自　|　https://bash-prompt.net/guides/parallell-bash/

作者　|　Elliot Cooper

譯者　|　lujun9972

bash 命令通常單線程運行。這意味著所有的處理工作只在單個 CPU 上執行。隨著 CPU 規模的擴大以及核心數目的增加，這意味著只有一小部分的 CPU 資源用於處理你的工作。

當我們的工作受制於 CPU 處理數據的速度時，這些未使用的 CPU 資源能產生很大的效用。這種情況在進行多媒體轉換（比如圖片和視頻轉換）以及數據壓縮中經常遇到。

本文中，我們將會使用parallel

[1]

程序。parallel 會接受一個列表作為輸入，然後在所有 CPU 核上並行地執行命令來處理該列表。Parallel 甚至會按順序將結果輸出到標準輸出中，因此它可以用在管道中作為其他命令的標準輸入。

如何使用 parallel

parallel 在標準輸入中讀取一個列表作為輸入，然後創建多個指定命令的進程來處理這個列表，其格式為：

這裡的 list 可以由任何常見的 bash 命令創建，例如：、、。這些命令的結果通過管道從它們的標準輸出傳遞到 parallel 的標準輸入，像這樣：

跟 中使用 類似， 使用 來表示輸入列表中的每個元素。下面這個例子中， 會使用 壓縮所有 命令輸出的文件：

下面這些實際的使用 的例子可能會更容易理解一些。

使用 parallel 來進行 JPEG 壓縮

在這個例子中，我收集了一些比較大的 文件（大約 10MB 大小），要用Mozilla

[2]

出品的 JPEG 圖像壓縮工具MozJPEG

[3]

來進行處理。該工具會在嘗試保持圖像質量的同時減少 JPEG 圖像文件的大小。這對降低網頁載入時間很重要。

下面是一個普通的 命令，用來找出當前目錄中的所有 文件，然後通過 MozJPEG 包中提供的圖像壓縮工具 （） 對其進行處理：

總共耗時 。該命令運行時的 看起來是這樣的：

你可以看到，雖然有 8 個核可用，但實際只有單個線程在用單個核。

下面用 來運行相同的命令：

這次壓縮所有圖像的時間縮減到了 。從 顯示中可以很清楚地看出不同：

所有 CPU 核都滿負荷運行，有 8 個線程對應使用 8 個 CPU 核。

parallel 與 gzip 連用

如果你需要壓縮多個文件而不是一個大文件，那麼 就能用來提高處理速度。如果你需要壓縮單個文件而同時又想要利用所有的 CPU 核的話，那麼你應該 的多線程替代品pigz

[4]

。

首先，我用隨機數據創建了 100 個大約 1GB 的文件：

然而我用 命令來進行壓縮：

總共耗時 ，而且也是只利用了單核。

換成 版本：

耗時減少到了 。

parallel 是一款非常好用的工具，應該加入到你的系統管理工具包中，在合適的場合它能幫你節省大量的時間。

via:https://bash-prompt.net/guides/parallell-bash/

作者：Elliot Cooper

[6]

譯者：lujun9972校對：wxy

本文由LCTT原創編譯，Linux中國榮譽推出

LCTT 譯者

lujun9972

共計翻譯：29篇

貢獻時間：25 天

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！