RAG構築における大規模データセットではBM25が優位、コスト効率と精度のバランスを再定義

要点：大規模な語料を用いたRAG（検索拡張生成）の比較研究により、データ規模が拡大するにつれ従来のBM25アルゴリズムがLLMベースの手法を上回る性能を示すことが判明しました。特に1000万トークンを超える環境では、低コストかつ高精度な検索手法としてBM25が優位性を維持しています。