TryAI Drawing Arena / Agent tool use

AIにペイントアプリを操作させると何が分かる?

同じキャンバス、同じ操作道具でも、4モデルの描き方、反復回数、時間、費用は大きく違いました。見た目の勝敗だけでなく、エージェント運用の指標として比較します。

画像生成ではなく、ペイントツールの操作競争

GPT-5.6 Sol、Claude Fable 5、Grok 4.5、Gemini 3.6 Flashは、参照画像2点と文章指示5件を一筆ずつ描きました。評価には視覚理解、操作計画、自己修正、停止判断が混ざっています。

画像生成モデルの性能比較ではありません。汎用AIが同じペイントアプリで色、太さ、筆圧、線、ぼかし、消しゴムを操作した実験です。TryAI自身も、曖昧で正解のない課題であり、客観的な総合ランキングではないと説明しています。

7枚ずつ描いた実行結果

モデル平均ステップ平均時間合計トークン推定コスト自己評価描画呼び出し
GPT-5.6 Sol296.2分340万7.74ドル6.0116
Claude Fable 55412.5分1460万160.58ドル15.6207
Grok 4.5994.8分3400万9.21ドル4.3354
Gemini 3.6 Flash736.9分2770万12.87ドル22.6190

TryAIの主観評価はGPT首位、Grok最下位

GPT-5.6 Sol多くの絵で細部が優れ、星月夜とバラを高評価。
Claude Fable 5品質2位だが、時間と費用が突出。
Gemini / GrokGeminiは低価格帯として健闘。Grokは視覚判断に苦戦。

トークン数だけでは費用を説明できない

Grok 4.5は3400万トークンと最多でしたが、約98%が安価なキャッシュ読み取りだったため推定9.21ドルでした。Fable 5は1460万トークンでも160.58ドルです。モデル単価、入力・出力、キャッシュ、実行回数を分けて見る必要があります。

比較から直接は言えないこと

  • 一般的な画像生成能力の順位ではない。
  • 28枚だけで視覚能力全体を断定できない。
  • 品質順位はTryAIの主観評価を含む。
  • 価格は実験時のモデル料金とキャッシュ条件に依存する。
  • プロンプト、ハーネス、停止条件が変われば結果も変わる。

確認した一次情報