TensorFlow修鍊之道（3）——計算圖和會話（Graph＆Session

計算圖

在計算圖中，節點表示計算單位，邊表示計算用到和產生的數據。 例如，在TensorFlow圖中，tf.matmul操作將對應於具有兩個輸入邊（要乘以的矩陣）和一個輸出邊（乘法的結果）的單個節點。

在 TensorFlow 中，系統會自動維護一個默認的計算圖，可以通過 方法來獲取當前默認的計算圖。

True

圖的集合（collection）

函數能夠將資源（張量、變數或者隊列資源等）加入到一個或多個集合中， 可以查找一個集合中的所有資源。TensorFlow 也自動管理了一些常用的集合。

"moving_average_variables"

類似Tensor的對象

許多TensorFlow操作將一個或多個tf.Tensor對象作為參數。 例如，tf.matmul接收兩個tf.Tensor對象，tf.add_n接收一個n個tf.Tensor對象的列表。 為了方便起見，這些函數將接受一個類似張量的對象以替代tf.Tensor，並使用方法將其隱式轉換為tf.Tensor。 類似Tensor的對象包括以下類型的元素：

• tf.Tensor

• tf.Variable

• numpy.ndarray

• list（和類似張量的對象的列表）

• 標量Python類型：bool，float，int，str

注意：默認情況下，每次使用相同的類似張量的對象時，TensorFlow將創建一個新的tf.Tensor。 如果類似張量的對象較大（例如，包含一組訓練樣本的numpy.ndarray），並且你多次使用它，則可能會耗盡內存。 為了避免這種情況，請在類似張量的對象上手動調用一次，並使用返回的tf.Tensor。

會話創建會話

會話（Session）擁有並管理TensorFlow程序運行時的所有資源。當計算完成之後，需要關閉會話來幫助系統回收資源，否則可能出現資源泄露的情況。

如果使用低級TensorFlow API，則可以為當前默認圖創建一個tf.Session，如下所示

[[ 37. -23.] [ 1. 4.]]

使用上面的這種模式，在計算完成後，需要明確調用 方法來關閉會話來釋放資源。如果使用上下文管理器（語句）可以避免手動調用方法。

[[ 37. -23.] [ 1. 4.]]

創建Session時，可以執行以下幾個參數：

• target。 如果此參數為空（默認值），則會話將僅使用本地計算機中的設備。 但是，你也可以指定一個grpc://URL來指定TensorFlow伺服器的地址，它將賦予會話訪問該伺服器所控制的計算機上的所有設備的許可權。

• graph。 默認情況下，新的tf.Session將被綁定到當前的默認圖 — 且只能運行當前默認圖中的操作。 如果在程序中使用多個圖，你可以在構建會話時指定一個顯式的tf.Graph。

• config。 此參數允許你指定控制會話行為的tf.ConfigProto。 例如，一些配置選項包括：

• allow_soft_placement。 將其設置為True以啟用「軟」設備布局演算法，當運算無法在GPU（比如：沒有GPU資源、運算輸入包含了對CPU計算結果的引用等）時，程序不會報錯，而是調整到CPU上。

• cluster_def。 當使用分散式TensorFlow時，此選項允許您指定計算中要使用的計算機，並提供作業名稱，任務索引和網路地址之間的映射。 有關詳細信息，請參見tf.train.ClusterSpec.as_cluster_def。

• graph_options.optimizer_options。 在執行之前，可以控制TensorFlow對圖的優化。

• gpu_options.allow_growth。 將其設置為True以更改GPU內存分配器，以便逐漸增加分配的內存量，而不是在啟動時分配大部分內存。

使用Session運行操作

tf.Session.run要求你指定fetches的一個列表，該列表確定返回值，可以是tf.Operation、tf.Tensor或類似張量的類型例如tf.Variable。 這些fetches確定整個tf.Graph的哪些子圖必須執行以產生結果。

tf.Session.run還接受一個可選的字典參數feeds，它是從tf.Tensor對象（通常是tf.placeholder張量）到值（通常是Python標量、列表或NumPy數組）的映射，將在執行中替換那些張量。 例如：

[1. 4. 9.][ 0. 0. 25.]

---------------------------------------------------------------------------

...InvalidArgumentError (see above for traceback): You must feed a value for placeholder tensor "Placeholder" with dtype float and shape [3] [[Node: Placeholder = Placeholder[dtype=DT_FLOAT, shape=[3], _device="/job:localhost/replica:0/task:0/device:GPU:0"]()]]

具有多個圖的編程

訓練模型時，組織代碼的常用方法是使用一個圖來訓練你的模型，另外一個圖用於評估或用於對訓練好的模型執行inference。

在許多情況下，推理圖與訓練圖不同：例如，在不同情況下使用不同的操作如dropout和batch normalization。 此外，一些實用程序如tf.train.Saver默認情況下使用tf.Variable對象的名稱（其名稱基於底層的tf.Operation）來識別保存的檢查點中的每個變數。 當這樣編程時，你可以使用完全獨立的Python進程來構建和執行圖，或者你可以在同一個進程中使用多個圖。

TrueTrueTrueTrue

腦洞科技棧一個有用的IT公眾號

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！