Epoch AIがAI研究の自動化能力を評価するベンチマーク「InnovationEval」を公開
要点:Epoch AIは、AIが論文内の機械学習手法を自律的に再現できるかを測定する「InnovationEval」を発表しました。SDPO(Self-Distillation Policy Optimization)を対象とした検証では、現行モデルの再現率は人間の研究者の15%程度に留まっています。
日本の事業者にとって、なぜ重要?
AIによる研究開発の自動化がどの程度の水準にあるかを客観的に把握する指標となります。将来的なAIによる技術革新のスピードを予測する上で重要な参考データです。
元記事
Can AI automate AI R&D yet?
元記事を読むAI評価
外部公開データの選定スコアです。評価元の掲載内容も確認できます。
選定元:AI HOT