NumPy 將停止支持 Python 2，這裡有一份給數據科學家的 Python 3 使用指導

知識 02-06

Python 已經成為機器學習和數據科學的主要編程語言，同時 Python 2 和 Python 3 共存與 Python 的生態體系內。不過，在 2019 年底，NumPy 將停止支持 Python 2.7，2018 年後的新版本只支持 Python 3。

為了讓數據科學家們快速上手 Python 3，該庫介紹了一些 Python 3 的新功能，供數據工作者參考。

更好的 pathlib 路徑處理

frompathlibimportPath

dataset ="wiki_images"

datasets_root = Path("/path/to/datasets/")

train_path = datasets_root / dataset /"train"

test_path = datasets_root / dataset /"test"

forimage_pathintrain_path.iterdir():

withimage_path.open()asf:# note, open is a method of Path object

# do something with an image

以前，開發者喜歡用字元串來連接（雖然簡潔，但是很明顯這是很不好的），而現在 pathlib 的代碼則是簡潔、安全並且有高可讀性的。

p.exists()

p.is_dir()

p.parts

p.with_name("sibling.png")# only change the name, but keep the folder

p.with_suffix(".jpg")# only change the extension, but keep the folder and the name

p.chmod(mode)

p.rmdir()

pathlib 能幫你節省很多時間，詳情請查看以下文檔和參考資料：

https://docs.python.org/3/library/pathlib.html

https://pymotw.com/3/pathlib/

類型提示已經是 Python 的一部分

下圖是 pycharm 中的類型提示案例：

Python 不再是僅用於編寫一些小腳本的編程語言，如今的數據處理流程包括了不同的步驟並涉及到了不同的框架。

程序複雜度日益增長，類型提示功能的引入能夠很好地緩解這樣的狀況，能夠讓機器幫助驗證代碼。

下面是個簡單的例子，這些代碼可以處理不同類型的數據（這就是我們喜歡的 Python 數據棧）：

defrepeat_each_entry(data):

""" Each entry in the data is doubled

"""

index = numpy.repeat(numpy.arange(len(data)),2)

returndata[index]

這代碼可以用於 numpy.array、astropy.Table、astropy.Column、bcolz、cupy、mxnet.ndarray 等等。

此代碼可以用於 pandas.Series，不過下面這種方式是錯的：

repeat_each_entry(pandas.Series(data=[,1,2],index=[3,4,5])) # returns Series with Nones inside

輸入提示 —— 在運行時檢查類型

默認情況下，函數注釋不會影響你的代碼，只是用於說明代碼的意圖。

不過，你可以在運行時使用類似 ... 這樣的工具強制輸入檢測，這能有助於你的 debug（在很多情況下，輸入提示不起作用）。

函數注釋功能的其他用法

如同之前所說，注釋不影響代碼的執行，只是提供一些元信息，可以讓你隨意地使用它。

例如，測量單位的處理對於科研領域來講是個令人頭痛的事情，astropy 包可以提供一個簡單的修飾器來控制輸入量的單位，並將輸出轉化為所需的單位。

如果你在用 python 處理科學數據表格，你應該關注下 astropy。

你也可以定義特定應用程序的修飾器，以相同的方式執行輸入和輸出的控制與轉換。

矩陣與 @ 相乘

我們來實現一個最簡單的 ML 模型 —— L2 正則化線性回歸（又稱嶺回歸）：

帶有 @ 的代碼在不同的深度學習框架之間更具有可讀性並且更容易翻譯：

同樣的單層感知代碼 X @ W + b[None, :] 可以在 numpy、cupy、pytorch、tensorflow 中運行。

與 ** Globbing

在 Python 2 里，遞歸文件的 globbing 並不容易，即使有 glob2 （https://github.com/miracle2k/python-glob2）模塊克服了這點。從 3.5 版本開始，Python 支持遞歸 flag：

importglob

# Python2

found_images =

glob.glob("/path/*.jpg")

+glob.glob("/path/*/*.jpg")

+glob.glob("/path/*/*/*.jpg")

+glob.glob("/path/*/*/*/*.jpg")

+glob.glob("/path/*/*/*/*/*.jpg")

# Python3

found_images =glob.glob("/path/**/*.jpg", recursive=True)

一個更好的選擇是在 Python 3 中使用 pathlib：

# Python 3

found_images= pathlib.Path("/path/").glob("**/*.jpg")

Print 現在是一個功能

是的，雖然代碼里有些惱人的括弧，但是這也有些優點：

用於文件描述符的簡單語法

print>>sys.stderr,"critical error"# Python 2

print("critical error", file=sys.stderr)# Python 3

列印沒有 str.jion 的 tab-aligned 表格

# Python 3

print(*array, sep=" ")

print(batch, epoch, loss, accuracy, time, sep=" ")

哈希壓制/重定向列印輸出：

# Python 3

_print =print# store the original print function

defprint(*args, **kargs):

pass# do something useful, e.g. store output to some file

在 jupyter 中最好將每個輸出記錄到一個單獨的文件中（方便在你斷線後跟蹤），所以你現在可以覆蓋（override）print 了，

在下面你可以看到一個臨時覆蓋 print 行為的 Context Manager：

@contextlib.contextmanager

defreplace_print():

importbuiltins

_print =print# saving old print function

# or use some other function here

builtins.print=lambda*args, **kwargs: _print("new printing", *args, **kwargs)

yield

builtins.print= _print

withreplace_print():

print 可以參與列表理解和其他的語言結構

# Python 3

result = process(x)ifis_valid(x)elseprint("invalid item: ", x)

數字間的下劃線（千分位分隔符）

PEP-515（https://www.python.org/dev/peps/pep-0515/）在數字文字中引入了下劃線。在 Python3 里，下劃線可用於整數、浮點數、和複數的可視化分隔。

# grouping decimal numbers by thousands

one_million=1_000_000

# grouping hexadecimal addresses by words

addr=xCAFE_F00D

# grouping bits into nibbles in a binary literal

flags=b_0011_1111_0100_1110

# same, for string conversions

flags= int("0b_1111_0000",2)

用於簡單格式化的 f-strings

默認的格式化系統提供了數據實驗中不需要的靈活性，由此產生的代碼對於任何變化來講要麼太脆弱要麼太冗長。

通常數據科學家用一種固定格式輸出記錄信息：

# Python2

print(" / accuracy: ± time: ".format(

batch=batch, epoch=epoch, total_epochs=total_epochs,

acc_mean=numpy.mean(accuracies), acc_std=numpy.std(accuracies),

avg_time=time /len(data_batch)

))

# Python2(too error-prone during fast modifications, please avoid):

print("{:3} {:3} / {:3} accuracy: {:0.4f}±{:0.4f} time: {:3.2f}".format(

batch, epoch, total_epochs, numpy.mean(accuracies), numpy.std(accuracies),

time /len(data_batch)

))

輸出：

120 12 / 300 accuracy: 0.8180±0.4649 time: 56.60

在 Python 3.6 中，引入了f-strings aka 格式化的字元串文字：

# Python 3.6+

print(f"/accuracy:±time:")

「真除」和「整除」之間的區別

對於數據科學家來講，這是一個非常方便的改變。

data= pandas.read_csv("timing.csv")

velocity= data["distance"] / data["time"]

在 Python2 中，結果的類型取決於"time" 和 "distance" 是否儲存為整數，在 Python3 中，結果在兩種情況下都正確，因為結果是浮點型。

嚴格的 ordering

# All these comparisons are illegal in Python 3

(3,4)

(4,5)

# False in both Python 2 and Python 3

(4,5) == [4,5]

Unicode for NLP

s ="您好"

print(len(s))

print(s[:2])

輸出：

Python 2: 6
??

Python 3: 2
您好.

x = u"со"

x += "co" # ok

x += "со" # fail

輸出結果在 Python2 失敗，Python3 正常。

在 Python3 中，str 是 unicode 字元串，用於非英文文本的 NLP 更加方便。

保留字典和 **kwargs 的順序

在默認情況下，CPython 3.6+ 中的 dicts 的行為類似 OrderedDict。這保留了 dict 理解的順序（以及一些其他操作，比如在 json 序列化和反序列化中的一些操作）。

importjson

x =

json.loads(json.dumps(x))

# Python 2

{u"1":1,u"0":,u"3":3,u"2":2,u"4":4}

# Python 3

{"0":,"1":1,"2":2,"3":3,"4":4}

這同樣適用於 **kwargs（在 Python 3.6+ 里），在參數之間保持了同樣的順序。

當涉及到數據管道時，順序至關重要，而以前我們必須用更加麻煩的方式來編寫：

from torch importnn

# Python2

model =nn.Sequential(OrderedDict([

("conv1",nn.Conv2d(1,20,5)),

("relu1",nn.ReLU()),

("conv2",nn.Conv2d(20,64,5)),

("relu2",nn.ReLU())

]))

# Python3.6+, how it *can*bedone, not supportedrightnow in pytorch

model =nn.Sequential(

conv1=nn.Conv2d(1,20,5),

relu1=nn.ReLU(),

conv2=nn.Conv2d(20,64,5),

relu2=nn.ReLU())

)

Iterable 拆包

# handy when amount of additional stored info may vary between experiments, but the same code canbeused inallcases

model_paramteres, optimizer_parameters, *other_params = load(checkpoint_name)

# picking twolastvaluesfromasequence

*prev, next_to_last,last= values_history

# This also works with any iterables,soifyou haveafunctionthatyieldse.g.qualities,

# belowisasimple waytotakeonlylasttwovaluesfromalist

*prev, next_to_last,last= iter_train(args)

默認的 pickle 引擎能為數組提供更好的壓縮

更少的空間，更快的速度。實際上，類似的壓縮可以通過 protocol=2 參數來實現，但是用戶通常忽略掉了這個選項。

更安全的理解

labels=

predictions= [model.predict(data) for data, labels in dataset]

# labels are overwritten in Python 2

# labels are not affected by comprehension in Python 3

超級 super()

Python2 的 super(...) 經常出錯

# Python 2

classMySubClass(MySuperClass):

def__init__(self, name, **options):

super(MySubClass,self).__init__(name="subclass", **options)

# Python 3

classMySubClass(MySuperClass):

def__init__(self, name, **options):

super().__init__(name="subclass", **options)

更多 super 的解析請移步：

https://stackoverflow.com/questions/576169/understanding-python-super-with-init-methods

更好的 IDE 和變數注釋

在 Java，C＃等語言編程里，最令人愉快的事情是 IDE 可以提出非常好的建議，因為在執行程序之前每個標識符的類型是已知的。

在 Python 里很難實現，但是注釋會幫你：

用清晰的形式寫下你的期望

從 IDE 里獲取好的建議

多拆包

下面是你如何合併兩個 dicts：

x= dict(a=1, b=2)

y= dict(b=3, d=4)

# Python 3.5+

z= {**x, **y}

# z = {"a": 1, "b": 3, "d": 4}, note that value for `b` is taken from the latter dict.

比較 Python2 中的差異，請查看：

https://stackoverflow.com/questions/38987/how-to-merge-two-dictionaries-in-a-single-expression

同樣的方法也適用於列表、元組和集合（a、b、c 是任意 iterables）：

[*a, *b, *c]# list, concatenating

(*a, *b, *c)# tuple, concatenating

{*a, *b, *c}# set, union

函數也支持* args和** kwargs：

Python3.5+

do_something(**{**default_settings, **custom_settings})

# Also possible, this code also checks thereisnointersection betweenkeysof dictionaries

do_something(**first_args, **second_args)

只有關鍵字參數的不過時的 API

思考下這個代碼片段：

model= sklearn.svm.SVC(2,"poly",2,4,0.5)

很明顯，這個作者好沒有形成 Python 的編碼風格（他很有可能剛從 C++ 或者 rust 跳轉到 Python 開發上）。不幸的是，這不是編碼風格的問題，因為你改變 SVC 中參數的順序將打破這段代碼。特別是，sklearn 會不時對眾多演算法參數重排序/重命名來提供一致的 API，每次這樣的重構都會破壞代碼。

在 Python3 里，庫作者可能需要用 * 來顯示命名參數。

classSVC(BaseSVC):

def__init__(self, *, C=1.0, kernel="rbf", degree=3, gamma="auto", coef=., ... )

用戶必須指定參數名 sklearn.svm.SVC(C=2, kernel="poly", degree=2, gamma=4, coef0=0.5)

這項機制結合了 API 可靠性和靈活性