資料庫並行讀取和寫入

這篇主要記錄一下如何實現對資料庫的並行運算來節省代碼運行時間。語言是Python，其他語言思路一樣。

一共23w條數據，是之前通過自然語言分析處理過的數據，附一張截圖：

要實現對news主體的讀取，並且找到其中含有的股票名稱，只要發現，就將這支股票和對應的日期、score寫入資料庫。

顯然，幾十萬條數據要是一條條讀寫，然後在本機上操作，耗時太久，可行性極低。所以，如何有效並行的讀取內容，並且進行操作，最後再寫入資料庫呢？

並行讀取和寫入

並行讀取：創建N*max_process個進程，對資料庫進行讀取。讀取的時候應該注意：

每個進程需要分配不同的connection和對應的cursor，否則資料庫會報錯。

資料庫必須能承受相應的高並發訪問（可以手動更改）

實現的時候，如果不在進程裡面創建新的connection，就會發生衝突，每個進程拿到許可權後，會被下個進程釋放，所以彙報出來NoneType Error的錯誤。

並行寫入：在對資料庫進行更改的時候，不可以多進程更改。所以，我們需要根據已有的表，創建max_process-1個同樣結構的表用來寫入。表的命名規則可以直接在原來基礎上加上1,2,3...數字可以通過對max_process取余得到。

此時，對應進程裡面先後出現讀入的conn（保存消息後關閉）和寫入的conn。每個進程對應的表的index就是主循環中的num對max_process取余(100->4,101->5)，這樣每個進程只對一個表進行操作了。

部分代碼實現

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！