Appleデバイスで大規模モデルを軽量動作させるSwiftletが登場

要点：SwiftとMetalを活用したランタイムSwiftletにより、MacやiPhoneでQwenなどの大規模な混合エキスパートモデルを効率的に実行可能になりました。必要な重みのみをストレージから読み込む手法で、メモリ消費を大幅に抑えています。