コード生成AIの性能を実環境で評価するプラットフォーム「BigCodeArena」公開
要点：Hugging Faceは、生成されたコードを実際に実行して評価するプラットフォーム「BigCodeArena」を公開しました。10種類のプログラミング言語と8つの実行環境に対応し、モデルの性能を客観的に比較できます。
日本の事業者にとって、なぜ重要？
コード生成AIの「動くコード」を生成する能力を検証できるため、開発現場でのAI活用において、より信頼性の高いモデル選定が可能になります。
元記事
BigCodeArena: Judging code generations end to end with code executions
元記事を読むAI評価
外部公開データの選定スコアです。評価元の掲載内容も確認できます。
選定元：AI HOT