AIソフトウェアエンジニアDevinの技術報告書が公開、SWE-benchで高い解決率を記録
Cognition社は、AIソフトウェアエンジニアDevinのSWE-benchにおける技術レポートを公開しました。Devinは570のテストセットで13.86%の成功率を達成し、既存のモデルを大きく上回る性能を示しました。
AIによる自律的なコーディング能力が向上しており、将来的な開発業務の自動化や効率化の可能性を測る重要な指標となります。
自律実行、ツール連携、業務自動化の最新情報
SoranoruCognition社は、AIソフトウェアエンジニアDevinのSWE-benchにおける技術レポートを公開しました。Devinは570のテストセットで13.86%の成功率を達成し、既存のモデルを大きく上回る性能を示しました。
AIによる自律的なコーディング能力が向上しており、将来的な開発業務の自動化や効率化の可能性を測る重要な指標となります。
LlamaIndexは、自然言語による解析指示やJSON出力に対応した文書解析プラットフォームLlamaParseを正式公開しました。公測期間中に2000人以上のユーザーが100万ページ以上の解析を行っています。
RAG(検索拡張生成)構築において、複雑な文書のデータ化は大きな課題であり、本ツールはAI活用におけるデータ準備の効率を劇的に改善する可能性があります。
Cognition社は、シェルやコードエディタ、ブラウザを備えた環境で自律的に開発を行うAIエンジニアDevinを発表しました。数千の判断を要する複雑なタスクを計画・実行し、ユーザーと連携しながら進捗を報告します。
AIが単なるコード生成を超え、開発環境を操作して自律的にタスクを完遂するエージェントへと進化しており、ソフトウェア開発のあり方を根本から変える可能性があります。
LlamaIndexは、LLMおよびRAGアプリケーションの構築を支援するマネージドサービスとして「LlamaParse」と「LlamaCloud」をリリースしました。
データの前処理から検索までを一元管理するマネージドサービスの登場により、企業がAIシステムを開発する際のエンジニアリング負荷が軽減される可能性があります。
LlamaIndexは、LLMやRAGアプリケーション向けのデータ解析・取り込みサービス「LlamaParse」を発表しました。特に表やグラフを含む複雑なPDFの解析に強みを持っています。
RAG構築において課題となりやすい非構造化データの読み取り精度が向上することで、社内文書を活用したAIシステムの構築がより容易になることが期待されます。
文書ごとにエージェントを割り当て、上位のメタエージェントが検索と推論を制御する「Agentic RAG」の構築手法が紹介されました。Rerank機能を用いた関連性の高い回答生成が特徴です。
大量の社内文書を扱うRAGシステムにおいて、精度と拡張性を両立させるための高度な設計手法として、開発担当者は検討の価値があります。
LlamaIndexは、pipインストールで利用可能なコマンドラインツール「llamaindex-cli」を公開しました。Chromaベクトルデータベースを基盤とし、プログラミングなしでRAG(検索拡張生成)環境を構築できます。
開発リソースを抑えつつ、社内ドキュメントを活用したAI検索環境を迅速に構築したい企業にとって、導入のハードルを下げるツールとなります。
LlamaIndex、Qdrant、Renderを組み合わせ、Slackの会話から学習して回答を行うボットの構築手順が公開されました。会話履歴を蓄積し、社内ナレッジとして活用する手法を学べます。
Slack上のやり取りをAIに学習させることで、社内問い合わせの自動化やナレッジ共有を効率化したいチームにとって実用的な実装例です。
コードを書かずに自然言語の指示だけで、自社データに基づいたRAGパイプラインを構築できるStreamlitアプリケーションです。独自のデータを用いたChatGPT環境を容易に作成できます。
エンジニア以外の担当者でも、自社データを用いたAIチャットボットのプロトタイプを短期間で作成できるため、AI導入のハードルを下げることが期待されます。
OpenAIは開発者向けイベントで、128Kのコンテキストウィンドウと低価格化を実現したGPT-4 Turboを発表しました。あわせてAssistants APIやDALL-E 3 APIなど、AIアプリケーション開発を支援する新機能が公開されました。
APIの性能向上とコスト低減により、AIを活用したビジネスアプリケーションの構築がより現実的かつ低コストで可能になります。
OpenAIは、特定の指示や外部知識、独自のスキルを組み合わせたChatGPTのカスタマイズ版を作成できる「GPTs」を発表しました。ユーザーは用途に合わせた専用AIを容易に構築可能です。
プログラミング知識がなくても業務特化型のAIを作成できるため、社内業務の効率化や特定の顧客向けサービスの開発が加速する可能性があります。
LlamaIndexはRetrieval Evaluationモジュールを用い、OpenAIやCohere、BGEなどの主要モデルを組み合わせた際の検索精度を検証しました。Hit RateとMRRの指標に基づき、最適なモデル構成を選択する手法を提示しています。
社内データ活用などでRAGを構築する際、モデルの組み合わせが検索精度に直結するため、開発時の選定基準として非常に有益です。
LlamaIndexは、PDFのレイアウト情報を保持したまま、見出しや段落、表などを正確に抽出する手法を公開しました。llmsherpa APIを活用し、文書の構造を維持した状態でRAGエンジンに組み込む方法を解説しています。
社内の複雑なPDF資料をAIに読み込ませる際、構造を維持した抽出は回答精度を左右するため、ドキュメント解析の精度向上を目指す開発者にとって重要な知見です。
LlamaIndexは、Response Evaluationモジュールを活用してRAGシステムの最適なチャンクサイズを測定する方法を実証しました。Uberの2021年度10K報告書をデータセットとして使用しています。
RAGシステムの精度向上において、データ分割の最適化は重要な課題であり、具体的な評価手法の提示は開発現場での実装効率を高める助けとなります。
LlamaIndexは、非構造化データから合成データを作成し、RAG(検索拡張生成)の検索精度を向上させるための微調整ガイドを公開しました。オープンソースの埋め込みモデルを最適化する手法を解説しています。
社内文書を活用した高精度なAI検索システムを構築したい開発者にとって、データ不足を補い精度を高めるための実用的な技術指針となります。
LlamaIndexは、GmailやGoogleカレンダーなど15種類のツールを含む「LlamaHub Tools」を公開しました。これに合わせ、LLMエージェントが効率的に外部ツールを操作するための開発手法をまとめています。
自社業務の自動化に向けたエージェント開発において、LLMが外部ツールを正確に制御するための設計指針として役立ちます。
LlamaIndexは、LLMを活用して非構造化データや構造化データに対して読み書きタスクを実行できる「Data Agents」をリリースしました。あわせてツール共有基盤であるLlamaHubも提供されます。
社内の散在するデータをLLMが直接操作できるようになることで、データ活用業務の効率化や自動化の幅が大きく広がります。
LlamaIndexは、SQLデータベースとベクトルデータベースを同時に活用し、自然言語によるクエリに応答する新しいエンジンを発表しました。これにより、構造化データと非構造化データが混在する複雑な情報検索が可能になります。
社内のデータベースとドキュメントを横断したRAG(検索拡張生成)構築において、より高度なデータ統合手法として活用できる可能性があります。
OpenAIは、ChatGPTが最新情報の取得や計算、外部サービスとの連携を可能にするプラグイン機能の初期サポートを発表しました。安全性に配慮した設計で、言語モデルの活用範囲を拡張します。
外部ツールとの連携により、ChatGPTが単なる対話型AIから業務遂行のための実用的なエージェントへと進化し、業務効率化の可能性が大きく広がります。
Hugging FaceのInference APIを活用し、Twitterの投稿内容を感情分析する手法を解説。プログラミング経験の有無に応じた2つのアプローチを紹介しています。
SNS上の顧客の声や市場トレンドをAIで自動分析したい事業者にとって、既存APIを活用した手軽な実装手法として参考になります。