CoffeeBench: マルチエージェント経済環境におけるLLMエージェントの長期タスクベンチマーク

Sakana AIと有限責任あずさ監査法人は、コーヒー業界のサプライチェーンを舞台にLLMエージェントの長期的な経営能力を評価する「CoffeeBench」を開発。シミュレーション実験では、最新モデル間でも経営成績に大きな差があり、長期タスク特有のモデルの特性が観察された。 概要 Sakana AIは、有限責任あずさ監査法人と共同で、LLMエージェントの長期的なタスク遂行能力を評価する新しいベンチマーク「CoffeeBench」を公開しました。CoffeeBenchは、コーヒー業界のサプライチェーンを模したマルチエージェント経済環境において、LLMエージェントが90日間にわたって焙煎店を運営し、農家や小売店と取引をしながら長期的に利益を上げられるかを評価するベンチマークです。実験の結果、最新のLLMの間でも経営成績に差がつき、長期意思決定能力にはモデル固有の特性があることが浮き彫りになりました。LLMエージェントが企業経営を担うような社会の到来を見越し、不正行為を含むエージェントの振る舞いを研究するためのフレームワークとしての拡張も目指しています。 今回公開するリソースは以下です。 論文: https://arxiv.org/abs/2606.16613 技術記事: https://pub.sakana.ai/coffeebench/ CoffeeBench Trajectorie