小紅書と北京大学が大規模MoEモデル向け負荷分散手法「UltraEP」をオープンソース化

大規模なMoEモデルの学習・推論において、リアルタイムで負荷を分散する技術「UltraEP」が公開されました。既存手法と比較して学習・推論の吞吐量を大幅に向上させ、効率的なモデル運用を可能にします。