網路晶元架構的新改變｜半導體行業觀察

來源：內容由 微信公眾號 半導體行業觀察 （ID：icbank） 翻譯自「Semiconductor Engineering」，謝謝。

新的數據流、更高的交換機密度和IP整合會在整個設計流程中造成問題。

雲數據中心改變了網路拓撲結構以及數據在大型數據中心內的移動方式，促使用於路由數據的晶元架構發生重大變化，並帶來了一系列全新的設計挑戰。

雲計算已經成為數據中心市場中增長最快的部分。事實上，根據思科全球雲指數預測，未來幾年內，雲計算將增長三倍，到2021年，雲計算將佔到所有數據中心流量的95%。這種增長的一個關鍵部分是虛擬化，它允許動態分配計算實例和工作負載，以跟上雲服務的動態特性。

從另一個角度來看，現在超過75%的流量在數據中心中東西向逐個伺服器地流動。這引發了第一組問題，因為傳統的三層網路拓撲結構是針對南北客戶端—伺服器流量進行優化的，因此無法有效處理這類數據流。

為了解決數據流轉移問題，並最大限度地減少延遲和瓶頸，雲數據中心正在轉向葉脊（leaf-spine）拓撲，其中每個葉伺服器可以通過脊進行單跳（single hop），訪問其他葉伺服器。

來源：Cadence Design Systems

Cadence Design Systems介面IP高級產品營銷經理Muthukumar Vairavan表示：「在葉脊拓撲結構中，每片葉都要連接到每個脊開關。因此，可以支持的主機數量以及網路帶寬擴展現在變成了交換機設備埠數量和每個埠帶寬的函數。交換機的帶寬主要取決於交換機ASIC和可安裝在單個機架單元中的光學模組數量。」

目前，最先進的交換機ASIC擁有多達256條PAM-4 SerDes信道，每條信道的運行速度為56Gbps，總帶寬為12.8Tbps。Vairavan表示：「總的來說，這種交換機最多可以支持32個埠400GbE（8條線路，每條56Gbps）。但是，隨著超大規模數據中心對帶寬的需求不斷增加，交換機廠商希望將晶元帶寬提高一倍，達到25.6Tbps。傳統上，這是通過將SerDes信道速度加倍來實現的，而光學網際互聯論壇（OIF）正致力於定義112Gbps SerDes規範，以實現這一目標。」

在這樣的速度下所面臨的挑戰是，信道損耗非常高，而且SerDes需要很多均衡。採用先進的DSP技術對信號進行恢復，這可能導致顯著的功耗。Vairavan建議，為了解決這個問題，平台設計需要轉向更好的PCB材料，使用有源電纜和重定時器，以保持在這樣的速度下信道損耗可控。「另一項新興技術是板載光學（OBO），光學晶元靠近電路板上的交換機ASIC放置，因此減少了電子信道。 通過將光學元件從面板移走，OBO還可以提供更好的密度和冷卻效果。OIF指定了許多類別的SerDes規範，如Long-Reach，Medium-Reach，Short-Reach等，以便對特定的交換機配置進行正確的SerDes性能/功率權衡。」

雖然構建其中一個晶元需要許多IP，但有四個項目通常會引發討論——SerDes、HBM PHY、網路級片上存儲器，以及TCAM（內容可定址存儲器）。

eSilicon公司營銷副總裁Mike Gianfagna表示：「SerDes需要實現高速片外通信。HBM PHY需要將2.5D封裝的HBM堆棧內存連接到ASIC上。網路級片上存儲器就像雙埠和偽雙埠存儲器一樣，針對極高速度進行了優化，TCAM用於實現高效的網路數據包路由。」

Gianfagna指出，IP問題還有另外兩個方面。「首先，經過晶元驗證的高質量IP非常重要，但還不夠。還必須驗證IP可以協同工作。諸如可測試性策略、操作點和金屬疊層之類的東西——這種兼容性大大降低了整合風險。其次，IP必須在考慮最終應用的情況下進行配置。 其中包括編譯內存和TCAM等內容，以支持SerDes的不同配置要求和可編程性能。」

位置，位置，位置

然而，沒有一種方法可以適用於所有情況。一個系統公司想要從它的IP供應商那裡得到什麼晶元取決於晶元的設計應用。

Synopsys公司高速SerDes產品營銷經理Manmeet Walia表示：「有多種方法看待這個問題。首先，你要在更廣泛的層面上認清楚你所服務的市場是什麼，無論是企業、校園、數據中心（現在被稱為超大規模數據中心），還是電信基礎設施。如果把它們按規模排列，那麼企業要排在第一位，它們是較小的數據中心。然後是雲提供商——谷歌、facebook、亞馬遜——這就是所謂的超大規模數據中心。最後是服務提供商，如ATT等。根據你所服務的對象，三種規模的需求各不相同。」

第二個因素涉及到這些公司所需要的具體功能。Walia表示：「無論是CPU晶元組、GPU、加速器、適配器卡、交換機、存儲陣列還是安全系統，根據它們的功能，又會出現不同的要求。第三，從PHY的角度來看，它們在系統中的位置很重要，無論是在刀片伺服器卡內，還是在中間卡上，或是在交換機架的頂部。所以它們的位置決定了它們的需求。市場整體上非常分散，因為它變得越來越複雜。」

Walia說，除此之外，還有一群開發人員在談論晶元，因為它們被逼到了晶元裸片尺寸或光罩的邊緣。「他們現在想要進入chiplets，我們正在從那些想要做所謂的USR（超短距離）SerDes的客戶那裡獲得需求。這是另一個需要解決的市場。」

今天，大多數網路設計活動都在雲端，其中大部分都是由AI和機器學習應用驅動的。Walia表示：「有趣的是，所有網路公司現在都在嘗試遵循垂直整合模式，他們甚至在嘗試自己製作晶元組。無論是中國的阿里巴巴、騰訊、百度，還是美國的Facebook、谷歌，都在嘗試自己的AI晶元組。他們不想使用商業晶元。因此，至少從IP的角度來看，我們的業務指標不是晶元量。更多的是從設計開始的，當然，我們在此處看到了雲計算驅動了我們大部分IP業務。」

西門子Mentor事業部IP部門總經理Farzad Zarrinfar對此表示贊同：「基本的處理器並沒有達到要求，所以我們看到主要的OEM、搜索領導者、遊戲領導者和通信領導者都在開發他們自己的ASIC。顯然，這些ASIC很多取決於應用。如果它是數據中心應用，或是某種汽車應用，亦或物聯網應用，我們就會看到很多構建模塊。例如，如果你觀察一個三層千兆交換機，那麼你就會發現1千兆位和10千兆位MAC（媒體訪問控制器）。有些人在晶元內部加入了ASIC、收發器、SerDes和PHY，以進一步提高整合度，並最大限度地降低成本。有些人希望基於自己的架構來保持它。他們使PHY和SerDes具有更大的幾何形狀，並且在晶元外使用它們，他們將更大的幾何結構用於SerDes。然後，在純數字部分，他們將工藝推進到10nm和7nm，甚至可以降至5nm finFET技術。」

Walia說，這種模式在過去幾年中迅速出現。最初，這些公司開發低端應用，比如攝像頭，但現在他們正在轉向高端數據中心，並完成越來越多的工作。

對於AI / ML應用而言，晶元主要是許多帶有ARM 64位處理器的SerDes。Walia表示：「這是一組ARM高端處理器，周圍是SerDes。它們通過SerDes使這些核心能夠以非常快的速度互相通信，然後這些SerDes也以盒子對盒子的方式與其他類似的設備通信。從本質上講，它是一個輸入和一個輸出，但它們之間發生的是一個指令集，允許它們在一段時間內通過可重複性，以及讀取人類行為或其他數據來接受訓練，所以它允許自我編程，允許在一段時間內學習，這就是它們需要強大處理能力的原因。」

網路設計的另一個方面涉及密度要求。Walia表示：「如今，這些都轉化為整合的挑戰。整合變得越來越重要，我們一直在與想要整合多達300條SerDes信道（某些情況下甚至達到500條）的客戶進行交流，這要求我們作為IP供應商為他們提供很多服務，以便他們可以整合這些SerDes。這個區域需要非常小，即前端需要非常窄，以便沿著PHY的邊緣放置越來越多的SerDes。另外，我們現在需要在兩個方向上都有PHY，以便設計團隊能夠最舒服地將它們放入晶元的所有四個側面。這是因為在28nm以下，台積電不允許我們翻轉多邊形方向。但這意味著我們必須有兩個不同的設計和兩個不同的布局，以便他們可以有效地將這些SerDes放在四個側面。除此之外，我們還必須允許它們在內部有多個層次——基本上要在IP內部包含兩級、三級深度的SerDes。」

與此同時，Walia指出，OEM正在越來越多地採用封裝凸點技術（packaging bump technology），而不是採用標準的C4凸點（C4 bumps）。「很可能他們正在使用插入式方法（interposer-type），所以他們需要更寬，並且凸點可能需要有犧牲pad或微凸點技術（microbump technology）。從本質上講，需要大量的凸點定製以及許多後端服務。你如何把所有這些東西放在一起？如何把所有這些信號帶到封裝基板上？如何把它們放入SoC？如何以1GB /秒或類似的速度進行時序收斂？所有這些都是巨大的挑戰，所以當我們提供這些IP時，我們必須提供很多關於如何使用它們的指導。過去我們認為，IP非常難以設計，但易於整合。但現在不是這樣了。它們不但很難設計，而且更加難以整合。」

管理IP

如今設計的許多高級網路晶元組和ASIC都以數據中心為目標，其中功耗、性能和面積都是關鍵因素。它也是晶元製造商最賺錢的領域之一。

ClioSoft公司營銷副總裁Ranjit Adhikary表示：「這就是雲計算領域正在發生的一切。每個人都想把東西放在雲端，雲端市場正在增長。鑒於此，每個數據中心公司都希望降低成本，因此功耗和可靠性成為非常重要的組成部分。當你討論下一代網路交換機、定義一個平台時，你需要確保I/O帶寬和內存子系統都能夠提供所需的性能。因此，你基本要確保所有IP都可以即插即用。你需要確保它們都有相同的金屬疊層、可靠性要求、工作範圍、控制介面——甚至相同的DFT方法。當你現在談論這些事情的時候，IP管理平台就變成了一個重要組成部分，因為到頭來你總是希望可以獲得你想要的IP。你想知道參數是什麼，於是下載它，查看它，從而無需經過一個漫長的周期來確定IP是否有效，或者到處尋找支持數據在哪裡。」

找到各種IP區塊並確定它們是否在其他地方被使用至關重要。Adhikary表示：「許多公司將為不同的代工廠提供不同的PDK，設計團隊需要知道IP是否經過代工廠驗證，或者同一公司的其他客戶是否正在使用它。你想知道IP的可靠性。例如，它投入生產了嗎？有什麼問題嗎？最終，問題歸結為文檔記錄的功耗、性能和面積有多好。我們在大多數公司中發現，信息並不全都集中在一個地方，因此把IP管理系統與文檔控制系統聯繫起來變得很重要，這樣每個人都能保持同步，而這僅僅是個開始。」

展望未來

隨著雲服務提供商把25.6Tbps交換機遷移到51.2Tbps，傳統的擴展技術似乎不太可能滿足需求。

Walia表示：「交換機ASIC是在先進技術節點上實現的，以利用增加的密度和更低的功率，但正在觸到光罩和產量的極限。一種迅速普及的選擇是晶元分解，大型晶元被分解為可管理的晶元尺寸，然後使用高速、低功耗的封裝內互連技術整合到多晶元模組（MCM）封裝內。另一種選擇是將邏輯晶元和SerDes分開，並將它們放在MCM中。通過轉向封裝內光學，可以獲得51.2Tbps所需的更大的光學密度，所謂封裝內光學是將光學晶元與MCM中的開關ASIC晶元整合到一起，以實現異構系統級封裝（SiP）。然後可以將光纖連到面板或尾纖上。」

交換機ASIC和高速光電互連是雲時代數據中心的支柱。為了滿足這些數據中心帶寬的爆炸性增長，交換機ASIC製造商、光學和互連IP供應商和標準機構需要建立生態系統。未來的解決方案將圍繞異構解決方案展開，這些解決方案將為特定的應用和獨特的數據流量身定製，以滿足新的性能、功耗和可擴展需求。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！