8ドルのマイコンESP32-S3で2890万パラメータのLLMをローカル実行

要点：約8ドルの安価なマイコンESP32-S3上で、2890万パラメータのLLMをサーバー接続なしで動作させることに成功しました。生成速度は毎秒約9.5トークンを実現しています。