Ox Alpha deepswe：DeepSWEの結果と評価ガイド

Ox Alpha deepsweは、一般的なゲーム、アプリ、または消費者向け製品ではありません。OpenRouterとOpenCodeを通じて提供された匿名の推論モデルであり、コーディング、エージェント型ワークフロー、長いコンテキストを必要とするソフトウェアタスクに重点を置いています。最も広く繰り返された性能の主張は、初期のDeepSWEサブセットテストに基づくものでしたが、入手可能な証拠からは、その数値を完全なベンチマークスコアとして提示することはできません。

初回テストは10タスクを対象とし、Ox Alphaはそのうち8つを解決したと報告されています。これはサブセットで80%という結果になりますが、その後のより広範な実行では約**63%**に終わり、テスターはこの数値のほうが妥当だと説明しました。これらの数値は、安定したリーダーボード順位ではなく、探索的な測定結果として読むべきです。

動画のハイライト：

• 匿名での提供と無料アクセスが、初期にこのモデルが注目を集めた中心的な要因でした。
• このモデルは、コーディングエージェント、ツール呼び出し、構造化出力、推論強度の調整に対応しています。
• テストが最初の10タスクのサブセットを超えると、DeepSWEの性能は変化しました。
• フィンガープリントの証拠はGLMファミリーを示唆していますが、所有者を公に確認した研究機関はありません。

この主張を評価する読者にとって、後のBen DavisによるDeepSWEの更新のほうが重要な参考情報です。そこでは約63%の結果が説明されており、このモデルは特に長時間かつ複雑な作業において非常に高い能力を持つ一方、実行が遅く、時折デッドコードを残すと評価されています。

有力な公開仮説は、Ox AlphaをZ.AIのGLMファミリーと結び付けています。この結論は、モデルカード、チェックポイント、公式声明ではなく、観察可能な挙動に基づいています。複数のテストでは、トークン化、エラー処理、決定論的デコード、動画処理において一致する結果が得られたと報告されています。

トークナイザーは、トレーニング前に選択され、デプロイ先が変わっても一貫性を保つ傾向があるため、比較に特に有用です。報告されたテストでは、複数の言語や書式のサンプルにおいて、Ox Alphaのトークン数はGLM 5.3と一致し、約75トークンの一定したオフセットがありました。このオフセットは、異なるトークナイザーではなく、追加されたシステム指示を示している可能性があります。

動画テストも注目に値します。制御された動画クリップでは、再生時間、解像度、フレームレートを変更した場合を含め、GLM 5V Turboと一致するトークン数が得られたと報告されています。このモデルは動画入力を受け付けてテキストを出力する一方、テスト構成では音声を理解しないと説明されました。

もう一つの手がかりは、隠された身元に関する指示です。報告によれば、ある jailbreak によって、モデルは自らをOx Alphaと名乗り、非公開組織が開発したものであると説明し、別のモデルや企業名を挙げることを避けました。これは単に提供元のフィールドが欠落しているのではなく、意図的に匿名化されていることを示しています。

証拠には限界もあります。システムプロンプトは、ほぼすべてのベースモデルに対して拒否応答を追加したり、書式を変更したり、身元に関する挙動を変えたりできます。類似したエラーメッセージは、共有された重みではなく、共通のインフラから生じている可能性もあります。最も責任ある結論は、Ox AlphaがGLMエコシステムと密接に関連しているように見える一方、正確な運営者は未検証だというものです。

DeepSWE形式のテストで測定されるのは、モデルが短い関数を書けるかどうかだけではありません。長期的なソフトウェアエンジニアリングタスクには、リポジトリの探索、計画、ツールの利用、デバッグ、コード変更、検証が必要です。小さなサンプルでは強そうに見えるモデルでも、タスクの種類が変わると結果に一貫性がなくなることがあります。

初期のOx Alphaの結果は、サンプル数が重要である理由を示しています。10タスク中8つの成功は決定的に聞こえますが、このように小さなサンプルには大きな不確実性があります。約63%という後の結果は、より慎重なシグナルであり、テスターの実務的な説明にもよく一致します。つまり、コード品質が高く複雑な作業への対応力も優れている一方、実行が遅く、時折コードが残るということです。

Ox Alpha deepsweの評価を再現する際は、次のプロセスに従ってください。

入手可能な比較結果からは、Ox Alphaはコーディング作業において最先端クラスに近いものの、最先端を明確にリードしているわけではないことが示唆されます。最も実用的な問いは、すべてのリーダーボードで勝てるかどうかではありません。モデルが、許容できる精度、速度、コスト、レビュー工数で、あなたのリポジトリタスクを完了できるかどうかです。

報告されたデプロイでは、100万トークンのコンテキストウィンドウ、マルチモーダル入力、ツール呼び出し、構造化出力、推論強度の調整が提供されていました。これらの機能により、Ox Alphaはリポジトリ分析、サブエージェントワークフロー、コードレビュー、大規模文書処理に適しています。

しかし、アクセス条件には重要なプライバシー上の矛盾がありました。あるインターフェースには、プロンプトと完了結果が提供元によって保持され、トレーニングには使用されないと記載されたバナーが表示されていたと報告されています。一方、OpenCodeでは同じモデルが「データ保持ゼロ」という表現で宣伝されていたとされています。提供元が明らかになっていなかったため、ユーザーには確認や問題のエスカレーションを行う明確な連絡先がありませんでした。

実際に使用する場合は、身元不明のホスト型モデルに対して行うのと同じ管理策を適用してください。

• APIキー、パスワード、秘密証明書、顧客記録を削除する。
• ファイルシステム権限を限定した使い捨てのリポジトリコピーを使用する。
• 生成された変更をマージする前に、テストと人によるレビューを必須にする。
• 大規模な自動書き換えよりも、小さく元に戻せるコミットを優先する。
• 後から検査できるよう、ツール呼び出しと生成パッチを記録する。
• エージェントが無関係なファイルを変更し始めたり、デッドコードを残したりした場合は停止する。

報告された無料アクセス期間は、キャンペーン中に十分な利用上限が設定されたうえで、2026年8月27日に終了すると説明されていました。利用可能性や上限は変わる可能性があるため、この日付は恒久的なアクセス保証ではなく、報告された期限として扱ってください。

Ox Alphaは、エージェント評価をすでに理解しており、管理された環境内で安全に作業できる開発者にとって、試す価値があります。報告された強みには、長いコンテキストの処理、有用なコーディング挙動、サブエージェントのサポート、特徴的な会話スタイルがあります。約63%という後のDeepSWE結果により、当初の80%という見出しだけに頼るよりも、強力なコーディングモデルとしての信頼性が高まっています。

弱点も同様に重要です。高い推論レベルでは遅く感じることがあり、デッドコードを残す可能性があり、提供元の身元も透明ではありません。また、その系譜や長期的な信頼性を確定できる公開チェックポイントや再現可能な公式評価も存在しません。