M1 Maxで2.8兆パラメータのKimi K3を動作させるDeltafinプロジェクト

要点：Deltafinプロジェクトにより、64GBメモリのM1 Max上で2.8兆パラメータのMoEモデル「Kimi K3」の推論が実現しました。推論速度は非常に低速ですが、OpenAI互換のAPIサーバーとして動作し、チャットやコード補完をサポートします。