我花了一些時間研究 InfiniBand,發現要理解它,我需要從頭開始編寫一個客戶端/伺服器對。 原來可以用 Python 實作! Linux rdma-core 提供了所有你需要的 InfiniBand 動詞,它們都使用 pyverbs 函式庫。 這裡是一個簡單的 RDMA 寫入 + 讀取操作
在 InfiniBand 中建立相當於套接字(「佇列對」)之後,對等方需要交換資訊(例如用於存取記憶體的金鑰)。 這通常用 TCP 實作。但 TCP 太複雜了,所以我直接用了模態字典(遠端鍵值儲存)。 https://t.co/PPqVohm7Nl
程式碼在此——供查閱、評論和修改。 它運行在 Modal 平台上,並使用了我們實驗性的 RDMA 叢集功能。 如果您有興趣運行 RDMA 加速的推理或訓練,請聯絡我們以取得存取權限。 https://t.co/2pZWAU9spB

