SakanaのFuguベンチマークは、ベンダー報告の同等性の主張であり、独自に検証されたスコアカードではありません。Sakanaのリリースページによると、Fugu Ultraはエンジニアリング、科学、推論タスクにおいて「Fable 5やMythos Previewのような主要モデルと肩を並べる」とされており、Fuguは特定のアプリケーションにおいて、Gemini 3.1 Pro、Opus 4.8、GPT 5.5を「一貫して上回る」とされています。数字を読む前に理解しておくべき注意点があります。Fuguは、他のベンダーのフロンティアモデルを呼び出すオーケストレーターであるため、その結果はFable 5のような単一モデルの勝利ではありません。
Fuguとは実際何なのか、そしてなぜベンチマークの読み方を変えるのか
Fuguは単一の基盤モデルではありません。それは、一つのOpenAI互換APIの背後に一つのモデルとして提示されるマルチエージェントオーケストレーションシステムです。Sakanaはこれを、委任、エージェント間通信、および作業統合に特化した訓練済み言語モデルであると説明しています。再帰的な自身を含む複数のLLMを動的に調整し、直接回答するか、チームを編成するかを決定します。リリースの見出しは「One Model to Command Them All（すべてを統べる一つのモデル）」です。
この設計上の詳細が、ベンチマークに関するすべての話です。通常のモデルがスコアを出すとき、その数字はそのモデル自身のウェイトが作業を行っていることを反映しています。Fuguがスコアを出すとき、その数字はFuguがOpus 4.8やGPT 5.5、Gemini 3.1 Proを呼び出し、それらの出力を統合していることを反映している場合があります。そのため、「Opus 4.8を打ち負かす」という結果は、Opusを呼び出し、他のモデルと組み合わせて使用するシステムから生じる可能性があります。それはモデルのモデルによる結果であり、単一モデルの結果ではありません。より深いアーキテクチャの文脈を知りたい場合は、Sakana Fuguとは何かについての解説で、そのオーケストレーションループを詳しく説明しています。
同等性の主張：「Fable 5およびMythos Previewと肩を並べる」
ここに最初の主張を慎重に述べます。
Sakanaによると、Fugu Ultraはエンジニアリング、科学、推論ベンチマークにおいて、「Fable 5やMythos Previewのような主要モデルと肩を並べる」とされています。動詞をよく読んでください。これは「打ち負かす」という主張ではなく、同等性の主張です。SakanaはFugu Ultraをフロンティアリーダーではなく、フロンティアの同等な存在として位置付けています。
2つの点に注意が必要です。
まず、挙げられているライバルは「Mythos Preview」であり、これはAnthropicがリリースするには危険すぎると述べた4月のフロンティアモデルです。現在一般に利用可能なMythos 5ではありません。Mythosクラスのモデルについて読んだことがあるなら、Previewと出荷されたバージョンが異なる成果物であることをご存知でしょう。現在のモデルではなくPreviewに対して同等性を主張するのは意図的な選択であり、その主張がどれほど印象的に聞こえるかに影響します。
第二に、この主張を裏付けるベンチマークテーブルは、Sakana以外の誰もが再実行できる形では提供されていません。この主張はリリースページで定性的に述べられているだけです。公開された方法論も、タスクごとのスコアグリッドも、第三者による再現もありません。「肩を並べる」という言葉は、ベンダーが自身の内部結果を表現するための枠組みとして扱うべきです。
より強力な主張：特定のアプリケーションにおいて「一貫して上回る」
Sakanaは2番目の、より大胆な主張をしており、これは最初の主張と区別して考える価値があります。
Sakanaによると、Fuguは特定のアプリケーションリストにおいて、設定された3つの競合他社を「一貫して上回る」とされています。
- Gemini 3.1 Pro (高)
- Opus 4.8 (最大)
- GPT 5.5 (超高)
挙げられているアプリケーションは、AutoResearch、ルービックキューブ、機械設計、日本語手書き文字解析、ワンショットチェス、金融時系列予測です。
これはアプリケーションレベルのパフォーマンスであり、標準的な学術ベンチマークスイートではありません。これらは、オーケストレーションシステムが輝く余地のあるエンドツーエンドのタスクです。なぜなら、オーケストレーションシステムは、サブプロブレムを最も得意とする基礎モデルにルーティングし、結果を結合できるからです。まさに、指揮者が個々の奏者を打ち負かすことができるのはこのような場合です。
しかし、再び誠実さの原則を適用しましょう。これらの競合他社のいくつかは、Fuguが呼び出すことができるモデルです。「Opus 4.8 (max) をAutoResearchで打ち負かす」という結果は、FuguがOpusを呼び出し、他のモデルも呼び出し、より強力な結合された回答を統合していることから生じている可能性があります。これは実際の能力であり、本当に役立つかもしれません。しかし、これは単一のSakanaモデルがOpusよりも優れていることを示すものではありません。これらの数字を単一モデルの勝利として決して読まず、「FuguがFable 5を打ち負かす」と表現することも避けてください。なぜなら、Sakanaでさえそのような主張はしていないからです。同等性の主張と優位性の主張は、異なるライバルを対象としています。
これらの数字がまだ独自に検証できない理由
まだ独立した再現はありません。このページにあるFuguのベンチマーク数値はすべて、ベンダーが報告したものであり、Sakana自身のセットアップで、Sakanaが選択した競合他社の設定（「高」「最大」「超高」の努力設定）で測定されています。2026年6月22日現在、第三者によってこれらのタスクが再実行されたことも、タスクごとのスコアグリッドが公開されたことも、評価ハーネスがリリースされたこともありません。これらすべてを測定値ではなく、主張として扱うのが正しい姿勢です。
これは特にSakanaを批判するものではありません。これは発売日におけるあらゆるモデルの初期状態です。Fuguとの違いは、オーケストレーション設計が独立した再現を容易にするのではなく、より困難にしている点です。
単一モデルのベンチマークを再現するには、モデルとテストが必要です。Fuguのベンチマークを再現するには、Fuguに加えて、それがルーティングするすべての基礎モデルへのアクセス、同じバージョンと努力設定、さらにSakanaが実行したのと同じオーケストレーションのトポロジーが必要です。システムはプロバイダーの制限を「動的に回避」し、タスクごとにエージェントのトポロジーを適応させるため、同じプロンプトを2回実行しても、同じ内部チームを使用しないことさえありえます。この適応性はユーザーにとっては機能ですが、再現性にとっては頭痛の種です。
そのため、ここでは明確な直接比較表を見つけることはできず、二次情報源から流れてくる「FuguがX点を獲得した」といった数字には懐疑的であるべきです。これらの二次記述のいくつかは、間違ったライバルバージョン（例えば、現在のMythosではなくMythos Preview）を挙げています。現時点では、数字が空白であるのが正直な結果です。当社のFugu Ultra vs Fable 5 vs Mythosの比較が定性的なままであるのも、同じ理由からです。
主張の根拠となる研究記録
Sakanaのマーケティングは、引用可能な実際の研究に基づいています。2つのICLR 2026論文がその系譜を説明しています。どちらも製品ベンチマークとして主張されているわけではないため、Fuguの仕様書ではなく、研究記録として読んでください。
1つ目は、Trinity、「進化したLLMコーディネーター」（arXiv:2512.04695）です。Trinityは、派生フリー進化によって最適化された2万パラメータ未満のコーディネーターで、Thinker、Worker、Verifierの役割を持ちます。これは小さく、勾配降下法ではなく進化によって訓練されました。
2つ目は、Conductor、「自然言語でエージェントをオーケストレートすることを学ぶ」（arXiv:2512.04388）です。Conductorは、エージェント間の通信構造を学習する強化学習で訓練された7Bモデルです。この論文は、より低いコストでMixture-of-Agentsを打ち負かすと主張しています。
これらは異なる手法と異なるサイズです。Trinityは2万パラメータ未満で進化を使用しています。Conductorは7Bパラメータで強化学習を使用しています。これらを混同しないでください。また、どちらの論文の正確な仕様も出荷製品を記述していると仮定しないでください。7Bという数字、あるいは特定のベースモデルをリリースされたFuguにマッピングすることは、第三者の推論です。公式リリースでは製品のパラメータ数は公開されていません。
主張と並べて覚えておくべき仕様サイドバー
合理的に確立されていることと、まだ未確認のことは以下の通りです。アーキテクチャの記述は未検証として扱ってください。
| 項目 | Sakana / 情報源が述べていること | 信頼度 |
|---|---|---|
| システムタイプ | 単一モデルの背後にあるマルチエージェントオーケストレーター | リリースページに記載 |
| バリアント | Fugu（バランス型、低レイテンシー）とFugu Ultra（最大品質） | リリースページに記載 |
| 旧ベータ名 | ベータ版およびプレスでは小型バリアントは「Fugu Mini」と呼ばれていた | 過去の経緯 |
| APIインターフェース | OpenAI互換のエンドポイントが1つ、両バリアント共通 | リリースページに記載 |
| 基礎モデル | 再帰的に自身を含む複数のフロンティアLLMを呼び出す | リリースページに記載 |
| 製品のパラメータ数 | 未公開。7B / Conductorの詳細は第三者の推論 | [検証] |
| ベンチマーク方法論 | ベンダー報告、Sakana独自のセットアップ、ハーネスは未公開 | [検証] |
命名に関する注意点をもう一度繰り返します。小型バリアントは、2026年4月24日から25日頃に開始された約500人規模のベータ版で「Fugu Mini」と呼ばれていました。リリースページでは「Fugu」と「Fugu Ultra」が使用されています。現在の名称を使用してください。
独自のテストにおける意味
Sakanaのベンチマークを検証することはできません。あなた自身で実行することは可能です。
FuguはOpenAIのチャット補完プロトコルに対応しているため、既存のOpenAIクライアントをFuguのベースURLに向け、実際のタスクを送信するだけです。SDKの移行は不要です。2026年6月22日現在、ベースURLはどの公開ページにも掲載されていませんので、console.sakana.aiのコンソールからコピーし、架空のホストを信用しないでください。以下のパターンは、標準のOpenAIチャット補完リクエストを模倣しています。
from openai import OpenAI
# サインイン後、console.sakana.aiから実際のベースURLをコピーしてください。
client = OpenAI(
api_key="YOUR_FUGU_API_KEY",
base_url="<YOUR_FUGU_BASE_URL_FROM_CONSOLE>",
)
resp = client.chat.completions.create(
model="fugu-ultra", # バランス型の場合は'fugu'; IDは報告されていますが、コンソールで確認してください。
messages=[
{"role": "system", "content": "あなたは正確なコードレビューアです。"},
{"role": "user", "content": "この関数のセキュリティ問題をレビューしてください。\n<コードを貼り付け>"},
],
)
print(resp.choices[0].message.content)
これまでに報告されているモデルID文字列はfuguとfugu-ultraで、日付形式が付いている可能性もあります。設定に埋め込むのではなく、コンソールで正確なIDを確認してください。Fuguは、リクエストごとに直接回答するかチームを編成するかを決定するため、同じプロンプトでも実行ごとに異なるレイテンシーとコストが発生する可能性があります。両方を記録してください。
ここで、独自の評価を実行することが通常よりも重要になります。AutoResearchやワンショットチェスではなく、あなたが実際に気にかけているタスクを送信し、既存の単一モデルと比較して、レイテンシー、コスト、出力品質を測定してください。ベンダーのベンチマークはSakanaが何を測定したかを伝えます。あなた自身の実行は、何が得られるかを教えてくれます。
これがあなたのApidogワークフローにどう適合するか
ベンダーのベンチマーク主張を検証するために新しいツールは必要ありません。いくつかのエンドポイントに同じプロンプトを送信し、応答を並べて比較する方法が必要です。
Apidogを使用すると、FuguエンドポイントをOpenAI互換APIとして登録し、実際の評価プロンプトをリクエストとして保存し、それらをテストシナリオとして実行できます。Fugu、Fable 5、Opusエンドポイントを同じ環境に置き、同一の入力を送信し、出力、ステータスコード、レイテンシー、トークン使用量を1か所で取得できます。これは、方法論が不明確な同等性の主張よりもはるかに有用な比較です。Fuguの適応型ルーティングによるコストドリフトを追跡したい場合、応答時間とトークン数のアサーションにより、実行ごとにそれが明らかになります。Apidogをダウンロードして比較を一度構築すれば、新しいモデルバージョンがリリースされるたびに再実行できます。
よくある質問
FuguはベンチマークでFable 5を打ち負かしますか？
いいえ、Sakanaはそのような主張はしていません。Sakanaによると、Fugu Ultraの主張は同等性であり、「Fable 5およびMythos Previewと肩を並べる」とされています。「上回る」という別の主張は、特定のアプリケーションにおいてGemini 3.1 Pro、Opus 4.8、GPT 5.5を対象としており、Fable 5ではありません。その比較の単一モデル側については、Claude Fable 5のベンチマークをご覧ください。
Fuguのベンチマーク数値は独自に検証されていますか？
いいえ。2026年6月22日現在、すべての数値はSakana自身のセットアップで、Sakanaが選択した競合他社の努力設定でベンダーが報告したものです。第三者によってタスクが再実行されたことも、評価ハーネスが公開されたこともありません。Sakana以外の誰かが再現するまでは、これらの主張を主張として扱ってください。
Fuguがオーケストレーターであることはなぜ重要ですか？
Fuguは、再帰的に自身を含む他のベンダーのフロンティアモデルを呼び出すため、「Opus 4.8を打ち負かす」という結果は、FuguがOpusを呼び出して統合したことによるものかもしれません。これは単一モデルの勝利ではなく、モデルのモデルによる勝利です。Fable 5やMythosラインはAnthropicの単一モデルであり、直接比較すると同種ではない比較になります。
SakanaはどのMythosと比較しましたか？
Anthropicがリリースするには危険すぎると述べた、古い4月のフロンティアモデルであるMythos Previewであり、現在のMythos 5ではありません。一部の二次記述ではバージョン名が間違っています。Mythosクラスの解説では、Previewと出荷されたバージョンの違いを説明しています。
TrinityとConductorの違いは何ですか？
それらは2つの別々のICLR 2026論文です。Trinity（arXiv:2512.04695）は、進化によって最適化された2万パラメータ未満のコーディネーターです。Conductor（arXiv:2512.04388）は、強化学習で訓練された7Bモデルです。異なる手法、異なるサイズです。どちらも出荷製品の仕様書として主張されているわけではありません。
Fuguのパフォーマンスを自分でテストするにはどうすればよいですか？
console.sakana.aiからFuguのベースURLにOpenAI互換クライアントを向け、独自のタスクを送信し、品質、レイテンシー、コストを測定してください。Apidogにエンドポイントを登録して、Fuguと、あなたが既に使用している単一モデルとを、同一のプロンプトと取得したメトリクスで比較してください。