Ox Alpha 스트리밍: 실시간 응답을 위한 API 설정 가이드

Ox Alpha 스트리밍은 전체 응답이 완성될 때까지 기다리는 대신 응답이 생성되는 즉시 받아 보는 API 워크플로입니다. OpenRouter는 Ox Alpha를 코딩, 지속적인 에이전트 작업, 프로덕션 워크로드, 텍스트와 시각적 컨텍스트를 결합하는 작업을 대상으로 하는 추론 모델로 소개합니다. 이 모델은 stealth/ox-alpha 슬러그로 식별됩니다.

해당 제공업체는 프리뷰 기간 동안 익명의 제3자 운영자로 설명됩니다. OpenRouter는 요청을 해당 제공업체로 전달하지만, 자신을 모델의 개발자, 소유자 또는 제공업체로 명시하지 않습니다. 보존 약관, 운영 책임, 프로덕션 적합성을 검토할 때 이러한 구분은 중요합니다.

OpenRouter 모델 페이지에는 1M 컨텍스트 윈도우, 텍스트·이미지·동영상 입력 지원, 텍스트 출력이 명시되어 있습니다. 또한 페이지에는 출시일이 2026년 8월 20일로 표시되어 있습니다. 프리뷰 형태의 stealth 모델인 만큼, 중요한 애플리케이션에서 특정 모달리티, 한도 또는 제공업체 정책에 의존하기 전에 현재 동작을 확인하세요.

가장 빠른 설정 방법은 OpenRouter API 키를 생성하고 환경 변수로 저장한 다음 stealth/ox-alpha를 사용해 요청을 보내는 것입니다. OpenRouter는 API가 OpenAI 호환 방식이라고 설명하므로, 기본 URL, 인증 설정, 모델 슬러그를 변경하면 기존 SDK 패턴 대부분을 적용할 수 있습니다.

프로덕션 API 키를 브라우저 코드, 공개 저장소, 스크린샷 또는 클라이언트 측 애플리케이션에 직접 넣지 마세요. 서버 측 라우트가 사용자 요청을 받고, 비밀 키를 추가해 제공업체를 호출한 다음, 애플리케이션에 필요한 데이터만 반환해야 합니다.

기본 환경 변수 설정은 다음과 같습니다.

export OPENROUTER_API_KEY=sk-or-v1-...

요청 엔드포인트는 POST 작업입니다. 필수 헤더는 콘텐츠 유형과 Bearer 인증입니다. OpenRouter는 순위 및 관련 플랫폼 화면에서 애플리케이션을 식별할 수 있도록 선택 사항인 HTTP-Referer 및 X-Title 헤더도 문서화하고 있습니다.

OpenRouter는 스트리밍을 서버 전송 이벤트 워크플로로 문서화하고 있습니다. 요청 본문에 "stream": true를 설정하면 서버는 모델이 출력을 생성하는 동안 이벤트 데이터를 점진적으로 반환합니다. 클라이언트는 비어 있지 않은 각 텍스트 델타를 버퍼에 추가하고 점진적으로 렌더링해야 합니다.

최소한의 cURL 요청은 다음과 같습니다.

curl -N -H "Content-Type: application/json" -H "Authorization: Bearer $OPENROUTER_API_KEY" -d '{"model":"stealth/ox-alpha","stream":true,"messages":[{"role":"user","content":"Explain recursion in simple terms."}]}'

-N 옵션을 사용하면 cURL이 불필요한 버퍼링 없이 스트림을 표시하는 데 도움이 됩니다. 애플리케이션에서는 이와 동일한 동작을 수행하기 위해 SSE를 인식하는 파서 또는 비동기 이터레이터를 제공하는 SDK가 필요합니다.

OpenRouter TypeScript SDK 예제는 openrouter.chat.send를 사용하고 모델과 메시지를 전달한 뒤 반환된 청크를 순회합니다. 텍스트는 chunk.choices[0]?.delta?.content에서 읽습니다. 마지막 청크에는 사용량 정보가 포함될 수 있으며, 가능한 경우 추론 토큰 세부 정보도 포함될 수 있습니다.

사용자에게 표시되는 애플리케이션에서는 누적된 답변과 전송 상태를 분리하세요. 이렇게 하면 이미 수신한 텍스트를 손상시키지 않고 “연결 중”, “생성 중”, “완료”, “실패” 상태를 표시할 수 있습니다.

견고한 스트림 핸들러는 다음 사항도 처리해야 합니다.

• 서버가 완료를 알리면 읽기를 중지합니다.
• 최종 사용량 객체가 도착하기 전에 연결이 종료되는 상황을 처리합니다.
• 최종 사용자에게 제공업체의 원시 오류를 그대로 표시하지 않습니다.
• 재시도 옵션을 제공할 때 부분적으로 수신된 텍스트를 보존합니다.
• 사용자가 페이지를 벗어나거나 Stop을 누르면 요청을 취소합니다.
• 비공개 프롬프트 내용을 불필요하게 기록하지 않고 요청 시간을 기록합니다.

OpenRouter의 공개 스냅샷은 Ox Alpha에 대한 여러 운영 지표를 제공합니다. 표시된 제공업체 요약에서는 P50 지연 시간이 5.30초, 처리량이 초당 23토큰으로 나타났습니다. 전체 성능 패널에는 추가 백분위수 평균도 표시되었으며, 해당 측정 화면 전체에서 평균 P50 처리량은 초당 36토큰, 평균 P50 지연 시간은 3.38초였습니다.

이 수치를 모든 지역, 프롬프트, SDK 또는 기간에 적용되는 보장으로 간주해서는 안 됩니다. 지연 시간은 프롬프트 크기, 출력 길이, 트래픽, 제공업체 부하, 도구 사용 여부, 작업 복잡도에 따라 달라질 수 있습니다. 스트리밍은 전체 완료 전에 사용자가 출력을 볼 수 있게 하므로 체감 응답성을 향상하지만, 전체 생성 시간을 반드시 줄여 주는 것은 아닙니다.

수집된 기간 동안 페이지에는 3일 기준 99.99% 가동 시간과 99.51% 가용성이 표시되었습니다. 또한 해당 제공업체의 평균 도구 호출 오류율은 2.27%, 평균 캐시 적중률은 **81.72%**로 나타났습니다. 이러한 지표는 공개 집계와 다를 수 있으므로 자체 워크로드를 모니터링하세요.

프로덕션 에이전트 워크플로에서는 지수 백오프를 적용한 제한적인 재시도를 사용하세요. 재시도는 수행 중인 작업에 대해 안전해야 합니다. 응답 스트림이 끊겼다는 이유만으로 외부 작업을 자동으로 반복하지 마세요. 부분 응답과 완료된 작업은 서로 다른 상태이므로 도구 호출에는 추가 검증이 필요합니다.

Ox Alpha 스트리밍은 단계적으로 출시하세요. 먼저 간단한 텍스트 전용 요청을 검증한 다음, 더 긴 프롬프트, 구조화된 출력, 지원되는 경우 이미지 또는 동영상 입력, 도구를 사용하는 에이전트 작업을 테스트하세요. 이러한 순서는 통합 오류가 진단하기 어려운 문제가 되기 전에 분리해 줍니다.

실용적인 문제 해결 순서는 다음과 같습니다.

1. 서버에 환경 변수가 존재하는지 확인합니다.
2. Bearer 토큰이 정확히 한 번 첨부되었는지 확인합니다.
3. 모델 슬러그가 stealth/ox-alpha인지 검증합니다.
4. 요청 본문이 유효한 JSON인지 확인합니다.
5. "stream": true가 따옴표로 감싼 문자열이 아니라 Boolean 값인지 확인합니다.
6. 이벤트 파싱을 시도하기 전에 첫 번째 응답 상태를 검사합니다.
7. 프롬프트, 키, 민감한 출력을 삭제하거나 마스킹한 뒤 전송 메타데이터를 기록합니다.
8. 실패를 반복해도 안전한 경우에만 재시도합니다.

유지 관리되는 통합을 위해 구현을 OpenRouter의 Ox Alpha 모델 및 제공업체 페이지에 연결하세요. 이 페이지는 공개된 모델 슬러그, 기능, 제공업체 정보, 성능 스냅샷, 가격 표시 및 빠른 시작 예제에 사용되는 기본 참조 자료입니다.