數(shù)據(jù)中心的時鐘

圖 3 和圖 4 分別展示了服務器主板上的 PCIe 內(nèi)部時鐘和外部時鐘架構。在內(nèi)部時鐘服務器上，CPU 生成 PCIe 時鐘。然后，這些 PCIe 時鐘由 PCIe 時鐘緩沖器扇出。緩沖輸出為各種端點計時，或通過 PCIe 連接器傳遞到子卡。

外部時鐘服務器上可能有多種 PCIe 時鐘源：來自外部時鐘發(fā)生器的本地 PCIe 時鐘或由 CPU 生成的 PCIe 時鐘。每個端點或連接器都可以從這些源中選擇一個，具體取決于它們所屬的時鐘域。

器件和接口通常需要由振蕩器或時鐘發(fā)生器提供的低頻單端時鐘。

數(shù)據(jù)中心安全控制模塊 (DC-SCM) 是由 Open Compute Project 定義的附加卡。在圖 5 所示的示例中，從服務器主板為 DC-SCM 卡提供了 PCIe 參考時鐘。然而，基板管理控制器和 USB 主機控制器都需要 PCIe 時鐘。您不能簡單地將布線分開并將一個時鐘路由到兩個器件，因為這會使振幅減半并降低信號完整性。因此，時鐘信號將不再滿足 PCIe 合規(guī)性要求，這就是需要 PCIe 時鐘緩沖器的原因。時鐘緩沖器會接收一個時鐘輸入并生成多個輸入副本，而不會降低信號完整性。

與 DC-SCM 類似，其他擴展卡或 PCIe 插入卡也可能需要時鐘緩沖器來分配 PCIe 時鐘，如圖 6 所示。

網(wǎng)絡接口卡 (NIC) 將服務器連接至網(wǎng)絡。SmartNIC 提供了額外的計算資源來減輕服務器 CPU 的負載。NIC 和 SmartNIC 都需要 PCIe 和以太網(wǎng)時鐘。在圖 7 所示的示例中，有兩個 PCIe 時鐘源：一個是來自 CC 架構主板的通用 PCIe 時鐘，另一個是用于 IR 架構的本地 PCIe 時鐘。在正常工作模式下，NIC 在 CC 上運行。但是，如果 CC 丟失或不可用，NIC 可以切換到 IR 并改為使用本地 PCIe 時鐘。此外，由于 NIC 通過以太網(wǎng)端口連接到交換機，應用特定集成電路中的以太網(wǎng)串行器/解串器通常需要高性能的 156.25MHz 時鐘。

用于 AI 培訓等特定計算任務的硬件加速器的 PCIe 時鐘要求與 SmartNIC 類似。圖 8 展示了一個 PCIe 時鐘架構示例。PCIe 時鐘僅在本地生成，而不是采用 CC 和 IR 架構并在兩者之間進行切換。在該示例中，CPU、圖形處理單元和其他端點需要許多時鐘。因此，一個雙通道時鐘發(fā)生器以及兩個 20 通道時鐘緩沖器可以生成多達 40 個 PCIe 時鐘。硬件加速器不需要以太網(wǎng)時鐘，因為它未連接到 SmartNIC 等 ToR 交換機?？赡艽嬖诔?PCIe 以外的專有鏈路，該鏈路可能需要額外的高性能時鐘，但與以太網(wǎng)時鐘類似。

圖 9 是僅使用 IR PCIe 架構的另一個示例。雙通道 PCIe 時鐘發(fā)生器用于為固態(tài)硬盤 (SSD) 控制器計時。

以太網(wǎng)通道速度為 56Gbps 或更高會顯著影響任何無源電纜的插入損耗。因此，需要“主動”互連來降低損耗和提高數(shù)據(jù)質(zhì)量。根據(jù)距離的不同，有不同類型的主動互連。有源電纜（包括基于銅的有源電纜和基于光纖的有源光纜）可以短距離連接，例如在 NIC 與 ToR 交換機之間連接。

光學模塊用于較長距離的連接。還有不同類型的光學模塊。其中一些用于數(shù)據(jù)中心內(nèi)的 ToR 交換機和主干或光纖交換機之間，而另一些則可用于數(shù)據(jù)中心之間。

由于以太網(wǎng)通道速度較高，光學模塊數(shù)字信號處理器需要一個極低噪聲的以太網(wǎng)時鐘，如圖 10 所示。另一方面，有源電纜中的以太網(wǎng)重定時器只需要一個常規(guī)時鐘，如圖 11 所示。

1PPS 信號攜帶時鐘同步信息，并從主干或光纖交換機向下傳遞到 ToR 交換機，然后傳遞到 NIC 或 SmartNIC。您可能需要在有源電纜焊盤卡中使用 1PPS 緩沖區(qū)或電平轉換器進行電平轉換并生成其他副本。

為高速以太網(wǎng)串行器/解串器生成參考時鐘需要一個抖動極低的時鐘發(fā)生器，如圖 12 所示。主干或光纖交換機還需要與 ToR 交換機類似或更好的以太網(wǎng)時鐘性能。此外，您還需要一個用于網(wǎng)絡同步的計時數(shù)字鎖相環(huán) (DPLL)，如圖 13 所示。