BERTの次世代後継モデルModernBERTが登場:8192トークンの長文対応で性能を刷新
Answer.AIとLightOnは、BERTを置き換える新しいエンコーダーモデル「ModernBERT」を発表しました。BaseとLargeの2サイズ展開で、最大8192トークンのシーケンス長に対応し、従来のBERTを上回る性能を実現しています。
既存のBERTベースのシステムをより高性能かつ長文対応のモデルへ容易に移行できるため、自然言語処理タスクの精度向上を狙う企業にとって重要なアップデートです。