當前位置:
首頁 > 新聞 > PyCharm+Docker:打造最舒適的深度學習煉丹爐

PyCharm+Docker:打造最舒適的深度學習煉丹爐

雷鋒網 AI 科技評論按,本文作者是四川大學數據智能實驗室在讀碩士劉震,這是他在知乎上發表的一篇文章,雷鋒網轉載。

PyCharm+Docker:打造最舒適的深度學習煉丹爐

一般煉丹都在伺服器上,很少有人在本機跑代碼的。之前自己搗鼓怎麼用本地的編輯器配上遠程伺服器的環境來營造一個最舒乎的姿勢。最開始用 VS Code 的 SFTP 插件,但是用著還是不順手,因為不能用遠程的環境,最後還是選擇了強大的 PyCharm。下面的這個教程最開始只是自己用,後來寫了一篇博客分享給實驗室的人,沒想到大家都開始用上了。這次專門寫一篇更詳細的放到知乎供有緣人使用。

開始之前你可以對比以下條件來確定自己是否真的需要這樣做:

  • 使用 PyCharm 作為主力 IDE 寫 Python而不是其他(我非常推薦大家用)

  • 深度學習煉丹師(當然你可以不是,但如果是,你會更舒服)

  • 伺服器在遠程或者區域網(其實區域網的體驗最佳)

  • 使用 Docker(能夠熟練使用最佳)

當你配置完成之後,你將能在本地 PyCharm IDE 上使用遠程伺服器的 Python 解釋器和環境進行調試和運行,同時能夠很方便的將代碼在本地和伺服器上進行同步。

OK,廢話不多說,正式開始我們的 PyCharm+Docker 的遠程環境配置之旅。

首先你需要滿足以下兩個必備條件:

  • 使用 PyCharm 專業版,記住一定是專業版(社區版不提供遠程服務)

  • 在伺服器上安裝 docker 和 nvidia-docker

1.新建 docker container

首先按照如下命令新建一個 docker 容器(關於 docker 的使用這裡不廢話,建議不熟悉的童鞋先去學一下如何使用 docker,教程很多):

sudo nvidia-docker run -it -p [host_port]:[container_port](do not use 8888) --name:[container_name] [image_name] -v [container_path]:[host_path] /bin/bash

舉個栗子:


sudo nvidia-docker run -p 5592:5592 -p 5593:5593 -p 8022:22 --name="liuzhen_tf" -v ~/workspace/liuzhen/remote_workspace:/workspace/liuzhen/remote_workspace -it tensorflow/tensorflow:latest-gpu /bin/bash

正確執行完之後,現在我們就處在新建的 docker 容器里了(埠映射,容器名,鏡像和路徑映射這些換成你自己的就行,但是一定要留一個埠映射到宿主機 22 埠,因為 SFTP 默認使用 22 埠)。

2.配置 SSH 服務

接著我們在剛剛新建的容器里配置 SSH 服務,首先安裝 openssh-server:


$ apt update$ apt install -y openssh-server

然後建立一個配置文件夾並進行必要的配置:


$ mkdir /var/run/sshd

$ echo "root:passwd" | chpasswd# 這裡使用你自己想設置的用戶名和密碼,但是一定要記住!$ sed -i "s/PermitRootLogin prohibit-password/PermitRootLogin yes/" /etc/ssh/sshd_config

$ sed "s@sessions*requireds*pam_loginuid.so@session optional pam_loginuid.so@g" -i /etc/pam.d/sshd

$ echo "export VISIBLE=now" >> /etc/profile

重啟 SSH 激活配置:


$ service ssh restart

在伺服器(宿主機)上(不是伺服器的 docker 里)測試剛剛新建 docker 容器中哪個埠轉發到了伺服器的 22 埠:


$ sudo docker port [your_container_name] 22

# 如果前面的配置生效了,你會看到如下輸出

# 0.0.0.0:8022

最後測試能否用 SSH 連接到遠程 docker:


$ ssh root@[your_host_ip] -p 8022

# 密碼是你前面自己設置的

到這裡說明伺服器的 docker 端已經完成配置。

3.在 PyCharm 里配置部署環境

打開 PyCharmTools > Deployment > Configuration, 新建一個 SFTP 伺服器,名字自己取:

PyCharm+Docker:打造最舒適的深度學習煉丹爐

輸入如下圖配置,注意這裡的埠是你剛剛設置的映射到伺服器主機 22 埠的 docker 容器中的埠,我這裡使用的是 8022,賬號密碼是你剛剛自己設置的,這裡的 Root Path 設置一個遠程 docker 容器里的路徑:

PyCharm+Docker:打造最舒適的深度學習煉丹爐

配置完點擊 Test SFTP connection, 如果成功就恭喜你,可以進行下一步了。

最後在 Mappings 中配置路徑,這裡的路徑是你本地存放代碼的路徑,與剛剛配置的 Root Path 相互映射(意思是 Mapping 里本機的路徑映射到遠程的 Root Path),方便以後在本地和遠程 docker 中進行代碼和其他文件同步。

PyCharm+Docker:打造最舒適的深度學習煉丹爐

4.在 PyCharm 里配置遠程解釋器

點擊 PyCharm 的 File > Setting > Project > Project Interpreter 右邊的設置按鈕新建一個項目的遠程解釋器:

PyCharm+Docker:打造最舒適的深度學習煉丹爐

PyCharm+Docker:打造最舒適的深度學習煉丹爐

配置完成以後在項目解釋器界面就會出現如下圖所示,可以看到此時已經完成遠程解釋器的本地化:

PyCharm+Docker:打造最舒適的深度學習煉丹爐

配置完成以後需要等本地和遠程的環境同步一下,到這裡,恭喜你,可以用最舒服的姿勢。。。寫代碼了。

配置完成以後的日常是這樣的:

PyCharm+Docker:打造最舒適的深度學習煉丹爐

左邊是本地的文件,修改之後可以隨時右鍵 deployment->upload 到遠程主機,或者直接在本地調試運行;最右邊是遠程主機的文件,假如直接在遠程修改了文件刷新一下同樣可以右鍵下載到本地,但是我不建議這樣做,因為這樣很容易帶來衝突(畢竟沒有很好的版本控制)。目前最好的實踐是在區域網的伺服器上,時延低,同步速度快。

常見問題:

最常見的問題就是 docker 容器停了以后里面的 SSH 服務也會相應停止,因此當你發現自己某一天連不上的時候,記得去 docker 里重啟一下 ssh 服務:


$ service ssh restart

感謝 @ 丁果 對這個問題提出的解決方案:


「可以在 run 的時候加上--restart=always,同時 ssh 啟動的寫到 dockerfile 里去,其實 docker 裡面一般不會再裝 ssh。」

原文鏈接:https://zhuanlan.zhihu.com/p/52827335

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 雷鋒網 的精彩文章:

徐直軍在英國:網路安全是技術問題,未來幾年5G收入主要來自中日韓和海灣國家
數字銀行OakNorth獲軟銀投資,成歐洲估值最高金融科技獨角獸

TAG:雷鋒網 |