홈 / 기능 / 모든 모델 실행

osFoundry로 모든 AI 모델 실행 — 로컬, 클라우드, 또는 자체 호스팅

모든 클라우드 API를 BYOK로, 노트북에서 오픈 웨이트 실행, 또는 전용 GPU 엔드포인트 배포 — 모두 하나의 워크스페이스에서.

osFoundry는 단일 워크스페이스에서 모든 AI 모델을 실행하는 하이브리드 AI 오케스트레이션 플랫폼입니다 — 노트북에서 오픈 웨이트 Llama, Qwen, Mistral을 실행하고, 자체 API 키로 Claude, GPT, Gemini를 사용하며, 예약 용량을 위해 당사 클라우드의 전용 GPU 엔드포인트를 활용합니다. 대화 중에도 백엔드를 전환할 수 있으며, 단일 공급자에 종속되지 않고, 모델이 실제로 실행된 초 단위로만 비용을 지불합니다.

요점

osFoundry의 온디바이스 추론 런타임으로 오픈 웨이트 모델을 로컬에서 실행합니다 — 토큰 비용 없음, 데이터가 기기를 떠나지 않습니다.
Anthropic, OpenAI, Google, Mistral, Together, 그리고 모든 OpenAI 호환 엔드포인트에 자체 API 키(BYOK)를 사용합니다.
osFoundry 클라우드에서 선택한 오픈 웨이트 모델에 대해 예약된 처리량으로 전용 GPU 엔드포인트를 배포합니다.
하나의 채팅에서 세 가지 모드 전반에 걸쳐 요청을 라우팅합니다 — 대화를 떠나지 않고 로컬 ↔ 클라우드 ↔ 자체 호스팅 간 전환합니다.
토큰에 마크업이 없습니다 — 공급자 계정에 직접 청구됩니다.

개요

대부분의 AI 도구는 단일 백엔드를 강요합니다: 호스팅 채팅 제품, 단일 모델 API, 또는 혼자 유지보수하는 자체 호스팅. osFoundry는 로컬 추론, 클라우드 API, 자체 호스팅 엔드포인트를 하나의 채팅 표면, 하나의 구성 레이어, 하나의 청구 표면 뒤에 있는 세 가지 호환 가능한 백엔드로 취급합니다. 동일한 프롬프트가 저지연 분류를 위한 로컬 8B 모델, 어려운 추론을 위한 Claude Sonnet API, 민감한 데이터를 위한 자체 호스팅 Llama 70B에 모두 하나의 대화에서 도달할 수 있습니다.

주요 기능

Apple Silicon 및 NVIDIA GPU에서 양자화된 오픈 웨이트 모델(Q4부터 FP16까지)을 사용한 로컬 추론.
OpenAI 호환 API를 가진 모든 공급자에 대한 BYOK — 키는 암호화된 키체인에 저장됩니다.
osStudio에서 사용자가 구성할 수 있는 라우팅 규칙에 의한 요청별 모델 디스패치.
모델을 재시작하지 않고 추론 시점에 LoRA 어댑터 핫스왑.
추론 서버 플릿 뷰 — 로컬 박스, 클라우드 엔드포인트, 자체 호스팅 GPU 전반에 걸쳐 용량 풀링.
폴백 체인: 먼저 로컬을 시도하고, 모델이 로드되지 않은 경우 클라우드로 페일오버.

osFoundry에서 하는 방법

모델 선택 — /community/models 및 /community/api-models에서 카탈로그를 둘러봅니다 — 76,000개 이상의 오픈 웨이트와 364개의 호스팅 API 모델, 이중 특성을 가진 것들(예: Llama 3.1 70B는 둘 다) 간의 상호 링크와 함께.
연결 — BYOK의 경우: 공급자 키를 키 대화상자에 붙여넣고 모델을 Maestro 역할에 할당합니다. 로컬의 경우: 모델 페이지에서 설치를 누릅니다. 자체 호스팅의 경우: 서버 탭에서 GPU 엔드포인트를 배포합니다.
사용 — 직접 채팅하거나, Room App에서 invokeAI를 호출하거나, 자체 서비스에서 HTTP 엔드포인트로 접근합니다 — 동일한 모델, 동일한 라우팅, 세 가지 인터페이스.

osFoundry 비교

항목	osFoundry	대부분의 다른 도구
백엔드	로컬 + 클라우드 + 자체 호스팅, 요청별 전환 가능.	단일 백엔드, 공급자 종속.
토큰 마크업	없음 — 공급자 가격 직접 적용.	호스팅 토큰에 20-100% 마크업.
프라이버시 모드	로컬 전용 모드 — 트래픽이 기기를 떠나지 않습니다.	항상 클라우드 바운드.
모델 수	76K 오픈 + 364 API + 자체 호스팅 웨이트.	소수의 큐레이션된 모델.

활용 사례

1인 개발자: 일상적인 코딩 채팅을 위해 Llama 3.1 8B를 로컬에서 실행합니다. 어려운 리팩토링을 위해 Claude Sonnet으로 전환합니다. 동일한 채팅 스레드에서.
프라이버시 우선 팀: 모든 민감한 프롬프트를 로컬 모델로 강제합니다. 공개 정보 프롬프트는 클라우드 API를 사용하도록 허용합니다. 라우팅 규칙이 정책을 시행합니다.
대용량 트래픽 스타트업: 트래픽의 80%를 위해 예약된 A100에서 Mixtral 8x22B를 자체 호스팅하고, 어려운 20%를 위해 GPT-4o로 버스트합니다.

추론 서버 플릿

로컬 머신, BYOK 엔드포인트, 자체 호스팅 GPU 전반에 걸친 용량을 단일 주소 지정 가능한 풀로 집계합니다. Maestro는 가용성과 구성된 우선순위에 따라 요청별로 라우팅합니다.

자주 묻는 질문

크레딧을 구매하지 않고 osFoundry를 사용할 수 있습니까?

예. BYOK와 로컬 추론은 모두 osFoundry 크레딧 구매 없이 작동합니다 — 클라우드 사용량은 자체 공급자에게 지불하고, 로컬 추론은 무료입니다.

osFoundry가 클라우드 API 토큰에 마크업을 적용합니까?

아니요. BYOK는 트래픽을 공급자 계정으로 직접 전달합니다. 당사는 자체 클라우드 호스팅 서비스(GPU 엔드포인트, 앱 호스팅, 스토리지)에 대해서만 요금을 부과합니다.

어떤 공급자에 BYOK할 수 있습니까?

Anthropic, OpenAI, Google(Vertex + AI Studio), Mistral, Together, Groq, DeepSeek, Cohere, 그리고 모든 OpenAI 호환 엔드포인트. 새로운 공급자는 커넥터 라이브러리를 통해 추가됩니다.

오픈 웨이트 모델을 로컬에서 실행하려면 어떤 하드웨어가 필요합니까?

16GB VRAM의 소비자용 GPU는 Q4에서 7-13B 모델을 잘 실행합니다. 24GB는 30B 모델을 처리합니다. 70B 이상 모델에는 A100/H100 80GB 또는 양자화 트레이드오프가 필요합니다.

대화 중에 모델을 전환할 수 있습니까?

예. 각 턴은 다른 모델을 사용할 수 있습니다. osStudio의 Maestro 라우팅 규칙을 통해 프롬프트 내용에 따라 자동으로 전환할 수 있습니다.

자체 호스팅 엔드포인트는 로컬 추론과 어떻게 다릅니까?

로컬 추론은 자체 기기에서 실행됩니다. 자체 호스팅 엔드포인트는 osFoundry 클라우드에서 프로비저닝한 전용 GPU에서 실행됩니다 — 예약 용량, 속도 제한 없음, 프라이빗 네트워크를 통한 접근.

osFoundry는 이미지, 오디오, 비디오 모델도 지원합니까?

예. 카탈로그에는 채팅, 이미지, 오디오, 비디오, 임베딩 전반에 걸쳐 76K 오픈 웨이트 모델이 포함되어 있습니다. BYOK는 호스팅 이미지/오디오 공급자(DALL·E, Replicate를 통한 Midjourney, ElevenLabs 등)에 대해 작동합니다.

osFoundry를 완전히 오프라인으로 실행할 수 있습니까?

예 — 데스크톱 앱을 설치하고, 로컬 모델을 다운로드하고, 클라우드 경로를 비활성화하세요. 로컬 우선 모드는 1급 워크스페이스 설정입니다.

요금

로컬 추론: 무료(자체 하드웨어). BYOK: 공급자 가격, 마크업 없음. osFoundry 호스팅 GPU 엔드포인트: GPU 시간 초당 요금, 현재 요금은 가격 페이지를 참조하세요.