Ox Alphaベンチマーク結果：DeepSWEスコアと比較

現在のOx Alphaベンチマーク結果の中心となるのは、10件のタスクを含む、報告されたDeepSWE SWEコーディングテストでの80%スコアです。この数値により、同じテストに含まれる比較対象モデルよりOx Alphaが上位に位置しています。ただし、サンプル数が少ないため、あらゆるコーディング作業やモデル全般の能力を代表するものではありません。

この結果が注目を集めている理由の一つは、Ox AlphaがOpenRouterとOpenCode上でステルスモデルとして登場した一方、提供された資料には開発者に関する確認済みの公開情報がないことです。報告されたモデルプロファイルには、100万トークンのコンテキストウィンドウと、テキスト・画像・動画入力への対応が含まれています。これらの機能は、長文脈またはマルチモーダルなワークフローでの性能に影響する可能性がありますが、テスト条件外でのベンチマーク性能を証明するものと見なすべきではありません。

動画のハイライト：

• 10件のDeepSWE SWEコーディングタスクで報告された**80%**の結果
• 5つのモデル結果との比較
• コーディング、3D、デザイン、物理、フルスタック作業を含むインタラクティブテスト
• ブラウザベースの3Dおよびモーションタスクでの優れたデモンストレーション

最も安全な解釈は、Ox Alphaが特にソフトウェアエンジニアリングにおいて、有望な初期結果を示したというものです。ベンチマークスコアは、タスクの詳細、プロンプト、ツール設定、エラー処理、独立した再現テストと組み合わせた場合に最も有用です。こうした条件管理がなければ、単一のパーセンテージは決定的な結論ではなく、方向性を示す数値として見るべきです。

利用可能な比較の中で最も明確なのは、同じ報告テストに含まれる他のモデルとOx Alphaの差です。Ox Alphaは**80%**を記録した一方、Fable 5.5は65%、GLM 5.3は62%、Grock 4.6 6は62%、GPT 5.6は52%でした。

これらの数値は慎重に比較する必要があります。提供された資料には、完全なプロンプトセット、採点基準、温度設定、ツールへのアクセス、モデルのバージョン、すべてのシステムが同一設定を使用したかどうかが記載されていません。そのため、以下の表では報告された数値を記録していますが、統制されたリーグ表として提示しているわけではありません。

報告された順位は、追加テストを行う価値のあるシステムを特定するうえで役立ちます。一方で、推論能力、信頼性、レイテンシ、本番運用への適性について広範な主張を行うには不十分です。特定のソフトウェアエンジニアリングサブセットで高い性能を示すモデルでも、セキュリティ、保守性、ドキュメント、エッジケースについては綿密な確認が必要になる場合があります。

DeepSWEサブセットにおけるOx Alphaの80%以上のスコアは、2026年8月21日に公開されたAGTP Insights on Xでも言及されています。この投稿は見出しとなる結果を裏付ける参考情報として有用ですが、利用可能なページ内容には完全な方法論や詳細なスコア内訳は掲載されていません。

より広範な評価では、コーディングのパーセンテージ以外にも多くの結果が示されています。Ox Alphaは、ベクターイラスト、3Dモデリング、3Dキネマティクス、フロントエンドデザイン、ゲーム物理、フルスタックアプリケーションでテストされました。これは従来型のゲームではなくAIモデルに関する評価であるため、これらの例は能力のデモンストレーションとして理解するのが適切です。

特に強い印象を与えるのは、生成とインタラクションを組み合わせたタスクです。3Dピルオーガナイザーには、ラベル付きの7つのコンパートメント、個別に開く蓋、錠剤、影、すべて開く・すべて閉じる操作が含まれていました。シザーリフトには、プラットフォームの高さを変更しながら、機構のアーム同士の連動した動きを維持するスライダーが備わっていました。

フロントエンドデザインのテストでは、ObservatoryというAIディスカバリーワークスペースに焦点が当てられました。生成されたページには、暖色系のホワイト、ほぼブラック、エレクトリックオレンジの配色が使われ、ヒーローエリア、ライブプレビュー、アニメーションデータ、ワークフローステップ、料金情報、FAQ、CTAセクション、フッターが配置されていました。これは、Ox Alphaが単独のコンポーネントだけでなく、完全なプロダクトプレゼンテーションを組み立てられる可能性を示しています。

フルスタックテストでは、統合面が注目されます。タスクボードはフロントエンドにReactJS、バックエンドにPython FastAPI、データ保存にSQLiteを使用していました。ユーザーはタスクを作成し、列間でドラッグし、ステータスを変更し、アプリケーションのAPIレイヤーを通じてデータを永続化できました。報告された結果は3Dの例ほど視覚的に洗練されていませんでしたが、静的なモックアップよりも機能面のカバー範囲は広いものでした。

実用的なベンチマークでは、見た目の魅力と機能的な正確性を分けて評価する必要があります。固定したプロンプトから始め、モデル設定を記録し、明確な基準に照らして結果を判定してください。同じタスクを複数回繰り返すことで、優れた出力が一貫したものなのか、それとも偶然特に好条件で得られたものなのかを確認できます。

以下のワークフローは、見出しとなるスコアだけに頼らず、Ox Alphaを他のモデルと比較するのに適しています。

有用なテストスイートには、簡単なプロンプトと難しいプロンプトの両方を含めるべきです。たとえば、単純なSVGリクエストと、フロントエンド、API、データベース、状態遷移を必要とする多段階アプリケーションを組み合わせます。これにより、視覚的な洗練度だけを根拠にモデルが強く見えてしまうことを防げます。

利用可能な証拠からは、複数の分野で迅速なプロトタイピングに役立つ可能性のあるモデルだと考えられます。開発者は3Dでアイデアを検討し、フロントエンドのコンセプトを作成し、シンプルなインタラクティブ体験を組み立て、フルスタック開発の出発点を生成できます。報告された結果があっても、デバッグ、コードレビュー、テスト、セキュリティ確認が不要になるわけではありません。

コーディング作業において、最も重要なシグナルはDeepSWEでの80%の結果です。プロダクト開発では、インタラクティブなデモンストレーションも同様に重要かもしれません。複数の関連要件をモデルがどのように処理するかを示しているためです。実用的なワークフローでは、まず幅広いプロトタイプを作成し、その後、人間がアーキテクチャやエッジケースを改良するという進め方が考えられます。

いくつかの重要な制限も残っています。

• DeepSWEの比較は、報告された10件のタスクのサンプルに基づいています。
• 提供された資料には、完全なベンチマークプロトコルが含まれていません。
• 利用可能な参考情報では、モデルの所有者または開発者は確認されていません。
• デモンストレーションでは、失敗率よりも成功した出力が強調されている可能性があります。
• パフォーマンスは、プロンプト設計、コンテキスト、ツール、実行環境によって変化する可能性があります。
• 機能するプロトタイプが、そのまま本番運用可能なソフトウェアになるわけではありません。

テキスト、画像、動画入力への対応が報告されているため、Ox Alphaはマルチモーダルな開発ワークフローに適している可能性があります。ただし、能力を示すラベルだけで正確性が証明されるわけではありません。プロジェクトで重要になる場合は、画像解釈、動画理解、長文脈検索を個別にテストしてください。