Ox Alphaのパフォーマンス：ベンチマーク、レイテンシ、コーディングテスト

Ox Alphaは、コーディング、持続的なエージェント作業、複雑な問題解決、プロダクションワークロード向けに構築された推論モデルです。そのパフォーマンス特性は単一の速度スコアだけで決まるものではありません。実際の有用性には、応答品質、コンテキスト容量、ツールの信頼性、マルチモーダル処理能力などが影響します。

このモデルは2026年8月20日にリリースされ、匿名の第三者プロバイダーが運用するステルスモデルとして提示されています。OpenRouterはリクエストをそのプロバイダーへ転送しますが、所有権や開発責任を主張していません。報告されたプレビュー期間中、このモデルはトークン料金なしで掲載されています。

動画のハイライト：

• ワンショットのコーディングデモでは、ボクセルスタイルのMinecraft風環境をゼロから構築しようとしています。
• テストされたサバイバルフローよりも、クリエイティブモードの方が使いやすい様子が示されています。
• 生成されたデモには、クラフト、アニメーションする豚、洞窟、道具、落下ダメージ、音楽、採掘インタラクションが含まれています。
• 移動中やその後のワールド操作で、フリーズやランタイムエラーが発生しています。
• このデモは実用的な能力の一例として有用ですが、標準化されたベンチマークではありません。

最も重要な結論は、Ox Alphaが意欲的なコーディングタスクに有望である一方、検証が依然として必要だということです。大容量のコンテキストウィンドウとマルチモーダル対応は大きな強みですが、観測されたフリーズやツールエラーにより、無人運用では監視が不可欠です。

Ox Alphaのパフォーマンスデータは、測定範囲を考慮して読み取る必要があります。プロバイダーパネルには毎秒23トークンとP50レイテンシ5.30秒が記載されています。より広範なOpenRouterダッシュボードでは、全ロケーションと3日間の期間を対象に、個別のパーセンタイル平均が報告されています。

これらの数値は必ずしも矛盾しているわけではありません。プロバイダー単位のP50と全ロケーションのパーセンタイル平均では、異なるサンプル、期間、トラフィック条件、集計方法が使われる可能性があります。計画時には、固定された保証値ではなく、目安となる範囲として利用してください。

インタラクティブなコーディングでは、P50レイテンシが一般的なリクエストを反映するため、最も体感しやすい指標です。自動化では、P90からP99の方が重要になります。多数の逐次呼び出しを行うワークフローでは、中央値が応答性に優れている場合でも、時折発生する遅い応答の影響を受ける可能性があります。

エンドツーエンドのレイテンシは、生成、ツール実行、アプリケーション処理、追加の往復通信を含む場合があるため、基本的なリクエストレイテンシよりも高くなります。

報告された稼働率と可用性は、プレビューモデルとしては有望です。ただし、可用性が稼働率を下回っていることから、これらの指標を分けて考える必要があります。サービスは監視期間のほぼ全体で応答していても、リクエストの失敗や上流エラーが発生する可能性があります。

Ox Alphaは、ソフトウェアエンジニアリング、持続的なエージェントタスク、プロダクション指向のワークロード向けに明確に位置付けられています。そのため、リポジトリ規模の作業はオプション機能ではなく、モデルの中核的な特性です。

モデルの100万トークンのコンテキストウィンドウは、多数のファイル、大量のログ、設計文書、または過去の意思決定が長く連なるタスクで役立ちます。ただし、大容量のコンテキストが正しい推論を自動的に保証するわけではありません。チームは、焦点を絞ったプロンプト、意味のあるファイル境界、テスト主導のフィードバックを引き続き提供する必要があります。

実用的なワークフローでは、計画と実行を分離する必要があります。まず、Ox Alphaにリポジトリを調査させ、依存関係を特定します。次に、明確な受け入れ基準を指定して、限定的な実装を依頼します。最後に、テストを実行して差分を確認し、広範な書き直しではなく、対象を絞った修正を依頼します。

実用的なボクセルワールドのデモは、Ox Alphaが高レベルのプロンプトから複雑なコーディングプロジェクトに挑戦できるという考えを裏付けています。クラフト、移動、環境要素、道具、採掘、アニメーション、音楽など、複数の認識可能なシステムを生成しました。同時に、フリーズやランタイムエラーも発生しており、生成されたソフトウェアにデバッグと段階的な検証が必要であることを示しています。

Ox Alphaは、テキスト、画像、動画を入力として受け取り、テキストを返すモデルとして説明されています。そのため、ソースコードとスクリーンショット、インターフェースの録画、図、製品デモなどを組み合わせるタスクに適しています。

マルチモーダル性能は、広範な想定ではなく、具体的な評価セットを用いてテストする必要があります。有用なテストには、既知の画像または動画、検証可能な答えを求める質問、観察と推論を区別できる採点方法が含まれます。

ソフトウェアチームにとって、視覚コンテキストはUIリグレッション分析、図の解釈、バグのトリアージ、ドキュメントレビューに活用できます。エージェント構築者にとっては、1つのタスクでリポジトリのコンテキストとスクリーンショットや録画された挙動を組み合わせられる可能性があります。

実用的なデモは、重要なテスト原則も示しています。モデルは多くの目に見える機能を生成できても、状態が変化すると失敗する可能性があります。移動時のフリーズ、インタラクションの問題、後半で発生するランタイムエラーは、短時間の初回確認では現れない場合があります。そのため、テストには反復操作、再読み込み、状態遷移、エラーからの復旧を含める必要があります。

OpenRouterは、モデルスラッグ stealth/ox-alpha を使用したOx Alpha向けのOpenAI互換APIパスを提供しています。クイックスタートには、OpenRouter APIキー、環境変数、モデル名を指定したリクエストが必要です。アプリケーションで段階的な出力が必要な場合は、ストリーミングを有効にできます。

提供された料金データでは、このモデルの入力および出力コストはゼロと記載されています。第三者が運用するプレビュー版であるため、機密情報を送信する前に、適用されるStealth Model Termsとデータ取り扱い条件を確認する必要があります。

OpenRouterのOx Alpha APIおよびプロバイダーページには、現在のモデルスラッグ、料金表示、プロバイダー指標、パラメーター、クイックスタート例が掲載されています。また、第三者による運用であることと、プレビュー条件についても説明されています。

優れた評価では、タスク完了の品質を、時間やレビュー作業を含む運用コストと比較する必要があります。記載されたトークン料金はゼロですが、エラーの修正に費やすエンジニアリング時間は、実際のワークフローコストの一部として残ります。