Inception Labsが検索特化型モデルMercury 2を発表、秒間1000トークン超の高速推論を実現
要点:Inception Labsは検索パイプライン向けの高速モデルMercury 2を公開しました。拡散式並列デコードにより、既存の軽量モデルと比較して大幅な高速化と低コストな運用を実現しています。
日本の事業者にとって、なぜ重要?
検索エンジンやリアルタイム性が求められるAIアプリケーションにおいて、推論速度とコスト効率の向上は、サービス実装のハードルを下げる重要な要素となります。
元記事
Mercury 2 for Search: Fast enough to run a hundred times per query
元記事を読むAI評価
外部公開データの選定スコアです。評価元の掲載内容も確認できます。
選定元:AI HOT