NodeJS には、イベント ループをブロックしないというルールが 1 つあります。 AI 推論にも同様のルールがあります。GPU をブロックしないでください。 @DecagonAI やその他のチームがパフォーマンスを最大化できるように、私たちは GPU ストールを回避するために @sgl_project に貢献してきました。
このケースの詳細については、ここを参照してください。また、GPU ストールとホスト オーバーヘッドに関する詳細な分析にも引き続き注目してください。 https://t.co/ARjxKiqiZN