SGLangが低遅延モードを公開、NVIDIAおよびAMD GPUでの推論を高速化

要点：SGLangチームは、専用カーネルとプラグインフレームワークを活用した「Low-Latency Mode」をリリースしました。これにより、NVIDIA GB300やAMD MI355X GPU環境下での推論遅延を大幅に削減します。