BERTの次世代後継モデルModernBERTが登場：8192トークンの長文対応で性能を刷新
要点：Answer.AIとLightOnは、BERTを置き換える新しいエンコーダーモデル「ModernBERT」を発表しました。BaseとLargeの2サイズ展開で、最大8192トークンのシーケンス長に対応し、従来のBERTを上回る性能を実現しています。
日本の事業者にとって、なぜ重要？
既存のBERTベースのシステムをより高性能かつ長文対応のモデルへ容易に移行できるため、自然言語処理タスクの精度向上を狙う企業にとって重要なアップデートです。
元記事
Finally, a Replacement for BERT: Introducing ModernBERT
元記事を読むAI評価
外部公開データの選定スコアです。評価元の掲載内容も確認できます。
選定元：AI HOT