面壁智能がモバイル端末での35B規模MoEモデル実行を可能にする推論技術「LES」を発表

要点：面壁智能（MiniCPM）は、35B規模のMoEモデルをモバイル端末でリアルタイムかつ無損失で実行する「前瞻専門家スケジューリング（LES）」技術を公開しました。iPhone 16 Pro Maxでの実測では、毎秒20トークンを超えるデコード速度を実現しています。