AIソフトウェアエンジニアDevinの技術報告書が公開、SWE-benchで高い解決率を記録
要点:Cognition社は、AIソフトウェアエンジニアDevinのSWE-benchにおける技術レポートを公開しました。Devinは570のテストセットで13.86%の成功率を達成し、既存のモデルを大きく上回る性能を示しました。
日本の事業者にとって、なぜ重要?
AIによる自律的なコーディング能力が向上しており、将来的な開発業務の自動化や効率化の可能性を測る重要な指標となります。
元記事
SWE-bench technical report
元記事を読むAI評価
外部公開データの選定スコアです。評価元の掲載内容も確認できます。
選定元:AI HOT