先回りするAIエージェントに向くモデルは？12モデルを比べた「Agent Initiative Benchmark」

AIエージェントの開発者が、頼まれる前に動く「先回り型エージェント」にどのモデルが向いているかを比べる「Agent Initiative Benchmark」を公開したと投稿しています。ブックマークは500を超えています。

• 6年分の詳しい履歴を持つ架空の会社を用意し、Slack の会話を聞きながらチームを手伝わせる形で、12のモデルを試しました
• 投稿によると、OpenAI の「6.1 Sol」と「Astra」が Anthropic の Fable 5.2 を上回り、Sol は1タスク0.11ドル（Fable 5.2 は1.87ドル）と、費用の面でも優れていたとしています
• 高いモデルほど良いとは限らず、必要がないのに手を出すと、時間と費用が約8割増えたといいます

データセットとベンチマークのコードも公開したとしています。結果は投稿者による検証です。