特定ベンチマークでは上回った。総合勝利ではない
「DeepSeekを超えた」は限定的な表現です。 Poolside掲載のTerminal-Bench 2.1ではLaguna S 2.1が70.2%、DeepSeek-V4-Pro-Maxが64.0%でした。 これは端末を使う長時間タスクの特定評価であり、総合性能や全用途での優位を示しません。評価ハーネスやスコアの出所もモデル間で完全には統一されていません。
確認できる事実は、Poolsideの比較表でLaguna S 2.1がTerminal-Bench 2.1の70.2%、DeepSeek-V4-Pro-Maxが64.0%だったことです。モデル規模の小ささに対して高い結果ですが、別のベンチマークや実運用まで同じ順位になる保証はありません。
Laguna S 2.1の主要仕様
| 項目 | Laguna S 2.1 | 注意点 |
|---|---|---|
| 総パラメーター | 118B | 約1180億 |
| 活性パラメーター | 約8B / token | MoEで毎回すべてを計算しない |
| コンテキスト | 最大1,048,576 tokens | 配布形式や提供先では256Kの場合がある |
| Terminal-Bench 2.1 | 70.2% | thinking有効、Poolsideのagent harness |
| BF16の重み | 約236GB | 複数GPUが現実的 |
| NVFP4 | 約71.9GB | 量子化による精度・速度差を個別確認 |
| ライセンス | OpenMDW-1.1 | 利用時は本文とAcceptable Use Policyを確認 |
比較表は同一条件の競走ではない
Poolsideは、自社モデルをthinking有効の社内agent harnessで評価しました。一方、比較対象にはベンダー自己申告、公式リーダーボード、Artificial Analysisなどの第三者値が混在します。Terminal-Bench 2.1は4試行の平均pass@1ですが、ハーネス、ツール、最大ステップ、ネット接続条件が違えば結果は動きます。
「ローカルで動く」の必要条件
BF16チェックポイントは重みだけで約236GBのため、複数GPU構成が現実的です。NVFP4版とMLX版は約71.9GBまで縮小されていますが、実行時にはKVキャッシュ、ランタイム、OSのメモリも必要です。最大約100万トークンを使うほどKVキャッシュも増えるため、ファイル容量と必要メモリは同じではありません。
PoolsideはNVFP4を単一のNVIDIA DGX Sparkまで最適化したと説明しています。Mac向けMLX変換も公開されていますが、搭載メモリ、量子化、コンテキスト長によって速度と実用性は変わります。
公式が挙げる制限
- 第三者のagent harnessでは、似たツール定義を記憶で補って誤った形式を出す場合がある。
- JSON配列を含む入れ子のツール呼び出しで、エスケープ不良が起きることがある。
- thinkingが長引き、進展前に大量のトークンを使う場合がある。
- ベンチマーク中の外部検索は、既存解答を発見するreward hackingとの境界を曖昧にする。