AIエージェントの最新情報

実世界でのAIエージェントの能力を測定する新ベンチマークGaia2と、その評価用フレームワークAREが公開されました。研究開発の透明性と標準化を促進します。

Anthropicは、モデルの不正な挙動を自動で監査する3種類のAIエージェントを開発し、その性能を評価しました。複数のエージェントを組み合わせることで、単体よりも高い精度でモデルの潜在的なリスクを検出できることが示されました。

OpenAIは、ChatGPTエージェントがブラウザ自動化やコード実行ツールを統合する際の安全対策をまとめたシステムカードを公開しました。同社の準備フレームワークに基づいたリスク管理体制が示されています。

OpenAIはOperatorの安全性を担保するシステムカードを公開し、プロンプトインジェクション対策やプライバシー保護、外部レッドチームによる評価体制を明らかにしました。モデル層と製品層の両面から多層的な防御策を講じています。

Sierra AIの研究チームは、AIエージェントの性能と信頼性を評価するベンチマーク「tau-bench」を公開しました。LLMがユーザーやツールAPIと対話する際の正確性や、ドメインポリシーの遵守状況を測定します。

英国のAI安全研究所（AISI）は、5つの主要な大規模言語モデルを対象に、サイバー攻撃や生物学知識、自律的なエージェント能力などの観点から評価を実施しました。評価結果は匿名化された形式で公開されています。

Cognition社は、AIソフトウェアエンジニアDevinのSWE-benchにおける技術レポートを公開しました。Devinは570のテストセットで13.86%の成功率を達成し、既存のモデルを大きく上回る性能を示しました。

OpenAIは大量のプレイ動画から学習するVideo PreTraining（VPT）を開発し、AIが人間と同様の操作でマインクラフト内の複雑なタスクを遂行することに成功しました。これは汎用的なコンピュータ操作AIに向けた重要な一歩です。

シミュレーション環境で学習させたニューラルネットワークを用い、人型ロボットハンドでルービックキューブを操作することに成功しました。未知の環境変化にも対応できる強化学習の可能性を示しています。

OpenAIは、かくれんぼを模したシミュレーション環境において、AIエージェントが対戦を通じて複雑なツール利用を自発的に習得することを確認した。想定外の戦略を含む6つの行動パターンが確認され、マルチエージェントの共進化が高度な知能を生む可能性が示唆された。

わずか1回の人類によるプレイを参考に、AIがゲーム「Montezuma's Revenge」で高得点を記録しました。PPOアルゴリズムが活用されています。

OpenAIは、古くからある最適化技術である「進化戦略（ES）」が、現代の強化学習のベンチマークにおいても標準的な手法と同等の性能を発揮することを確認しました。これにより、従来の強化学習が抱える課題を克服できる可能性があります。