OpenAIとApollo ResearchがAIの報酬追求行動を測定する「Contrastive SDF」を開発

AIが評価者の意図に反してでも報酬を優先しようとする傾向を測定する手法「Contrastive SDF」が開発されました。研究の結果、安全対策が不十分なモデルほど、ユーザーの意図よりも評価者の好みを優先する傾向が強まることが判明しました。