OpenAIのGPT-6 Astra、公開後のベンチマーク数値修正が相次ぐ
要点:Fortune誌の報道によると、OpenAIは9月3日の発表以降、GPT-6 Astraのベンチマークデータを複数回修正しました。幻覚率の数値が4.2%から2%へ変更され、その後再び元に戻るなどの変動が確認されています。
日本の事業者にとって、なぜ重要?
AIモデルの性能評価指標が短期間で変動している点は、導入を検討する企業にとって信頼性判断の難しさを示唆しており、今後の公式な検証プロセスの透明性が注視されます。
元記事
OpenAI 多次修改 GPT-6 Astra 基准测试数据,部分成绩一度大幅变化
元記事を読むAI評価
外部公開データの選定スコアです。評価元の掲載内容も確認できます。
選定元:AI HOT