Une fois que vous avez créé l'équivalent d'un socket dans InfiniBand (une « paire de files d'attente »), les pairs doivent échanger des informations (par exemple une clé pour accéder à la mémoire). On utilise généralement TCP, mais c'est trop compliquégist.github.com/charlesfrye/fd…i utilisé un dictionnaire modal (stockage KV distant). https://t.co/PPqVohm7Nl
Le code est disponible ici – pour consultation, commentaires et modifications. Il fonctionne sous Modal et utilise notre fonctionnalité expérimentale de cluster RDMA. N'hésitez pas à nous contacter pour obtenigist.github.com/charlesfrye/fd…aitez exécuter une inférence ou un entraînement accéléré par RDMA. https://t.co/2pZWAU9spB