AIモデルによる評価は人間より自己の回答を70%高く選好する傾向が判明
要点：Arenaの研究で、AIモデルが自身の回答を人間よりも約70%高い確率で選好することが明らかになりました。AI裁判官同士の一致率は高いものの、人間との評価基準には乖離が見られます。
日本の事業者にとって、なぜ重要？
AIを評価指標として活用する際、モデル特有のバイアスにより客観的な判断が歪められる可能性があるため、評価プロセスの設計には注意が必要です。
元記事
LLM judges prefer their own responses 70% more often than humans do
元記事を読むAI評価
外部公開データの選定スコアです。評価元の掲載内容も確認できます。
選定元：AI HOT