Beranda / Fitur / Jalankan model apa pun

Jalankan model AI apa pun dengan osFoundry — lokal, cloud, atau self-hosted

BYOK ke cloud API apa pun, jalankan open weight di laptop Anda, atau deploy endpoint GPU dedicated — semua dari satu workspace.

osFoundry adalah platform orkestrasi AI hybrid yang menjalankan model AI apa pun dari satu workspace — Llama, Qwen, atau Mistral open-weight di laptop Anda; Claude, GPT, atau Gemini melalui kunci API Anda sendiri; dan endpoint GPU dedicated di cloud kami untuk kapasitas yang direservasi. Beralih backend di tengah percakapan, jangan pernah terkunci pada satu provider, dan bayar hanya untuk detik di mana model Anda benar-benar berjalan.

Jawaban singkat

Jalankan model open-weight secara lokal dengan runtime inference on-device osFoundry — tanpa biaya token, tanpa data meninggalkan mesin Anda.
Bawa kunci API Anda sendiri (BYOK) untuk Anthropic, OpenAI, Google, Mistral, Together, dan endpoint OpenAI-compatible apa pun.
Deploy endpoint GPU dedicated di osFoundry cloud untuk throughput yang direservasi pada model open-weight pilihan Anda.
Rutekan request lintas ketiga mode dari satu chat — beralih lokal ↔ cloud ↔ self-host tanpa meninggalkan percakapan.
Tanpa markup pada token — akun provider Anda ditagih langsung.

Apa itu

Sebagian besar alat AI memaksa satu backend: produk chat hosted, satu API model, atau self-host yang Anda pelihara sendirian. osFoundry memperlakukan inference lokal, cloud API, dan endpoint self-hosted sebagai tiga backend yang dapat ditukar di belakang satu permukaan chat, satu lapisan config, dan satu permukaan billing. Prompt yang sama dapat mengenai model 8B lokal untuk triase latency rendah, API Claude Sonnet untuk reasoning sulit, dan Llama 70B self-hosted untuk data sensitif — semua dalam satu percakapan.

Kemampuan utama

Inference lokal dengan model open-weight terkuantisasi (Q4 hingga FP16) pada Apple Silicon dan NVIDIA GPU.
BYOK ke provider mana pun dengan API OpenAI-compatible — kunci tinggal di keychain terenkripsi Anda.
Dispatch model per-request yang didorong oleh aturan routing yang dapat dikonfigurasi pengguna di osStudio.
Hot-swap adapter LoRA pada waktu inference tanpa merestart model.
Tampilan armada inference server — kumpulkan kapasitas lintas kotak lokal, endpoint cloud, dan GPU self-hosted.
Rantai fall-back: coba lokal dulu, fail over ke cloud jika model tidak dimuat.

Cara melakukannya di osFoundry

Pilih sebuah model — Jelajahi katalog di /community/models dan /community/api-models — 76.000+ open weight dan 364 model API hosted, dengan cross-link antar yang bersifat ganda (misalnya Llama 3.1 70B adalah keduanya).
Rangkai — Untuk BYOK: tempel kunci provider Anda ke dialog kunci dan tetapkan model ke role Maestro. Untuk lokal: tekan Install di halaman model. Untuk self-host: deploy endpoint GPU dari tab Servers.
Gunakan — Chat dengannya langsung, panggil invokeAI dari Room App, atau akses sebagai endpoint HTTP dari service Anda sendiri — model yang sama, routing yang sama, tiga antarmuka.

Perbandingan osFoundry

Kemampuan	osFoundry	Sebagian besar alat lain
Backend	Lokal + cloud + self-hosted, dapat ditukar per request.	Backend tunggal, terkunci vendor.
Markup token	Tidak ada — harga provider langsung.	Markup 20–100% pada token hosted.
Mode privasi	Mode lokal saja — tidak ada traffic yang pernah meninggalkan perangkat.	Selalu terikat cloud.
Jumlah model	76K open + 364 API + bobot self-hosted Anda.	Segelintir model yang dikurasi.

Kasus penggunaan

Developer solo: Jalankan Llama 3.1 8B secara lokal untuk chat coding sehari-hari. Beralih ke Claude Sonnet untuk refactor sulit. Thread chat yang sama.
Tim privacy-first: Paksa semua prompt sensitif ke model lokal; izinkan prompt info publik menggunakan cloud API. Aturan routing menegakkan kebijakan.
Startup bervolume tinggi: Self-host Mixtral 8x22B pada A100 yang direservasi untuk 80% traffic; burst ke GPT-4o untuk 20% yang sulit.

Armada inference server

Agregasikan kapasitas lintas mesin lokal, endpoint BYOK, dan GPU self-hosted ke dalam satu pool yang dapat dialamatkan. Maestro merutekan per request berdasarkan ketersediaan dan prioritas yang dikonfigurasi.

Pertanyaan yang sering diajukan

Bisakah saya menggunakan osFoundry tanpa membeli credit apa pun?

Ya. BYOK dan inference lokal keduanya bekerja tanpa pembelian credit osFoundry apa pun — Anda membayar provider Anda sendiri untuk penggunaan cloud, dan inference lokal gratis.

Apakah osFoundry menambahkan markup pada token cloud API?

Tidak. BYOK meneruskan traffic Anda langsung ke akun provider Anda. Kami menagih hanya untuk service yang kami hosting sendiri (endpoint GPU, hosting app, storage).

Provider mana yang dapat saya BYOK?

Anthropic, OpenAI, Google (Vertex + AI Studio), Mistral, Together, Groq, DeepSeek, Cohere, dan endpoint OpenAI-compatible apa pun. Provider baru ditambahkan via pustaka connector.

Hardware apa yang saya butuhkan untuk menjalankan model open-weight secara lokal?

GPU konsumen dengan 16 GB VRAM menjalankan model 7–13B dengan baik pada Q4. 24 GB menangani model 30B. Model 70B+ membutuhkan A100/H100 80 GB atau trade-off kuantisasi.

Bisakah saya beralih model di tengah percakapan?

Ya. Setiap turn dapat menggunakan model berbeda. Aturan routing Maestro di osStudio memungkinkan Anda beralih otomatis berdasarkan konten prompt.

Bagaimana endpoint self-hosted berbeda dari inference lokal?

Inference lokal berjalan di mesin Anda sendiri. Endpoint self-hosted berjalan pada GPU dedicated yang Anda provisi di osFoundry cloud — kapasitas direservasi, tanpa rate limit, diakses melalui jaringan privat Anda.

Apakah osFoundry juga mendukung model image, audio, dan video?

Ya. Katalog mencakup 76K model open-weight lintas chat, image, audio, video, dan embedding. BYOK bekerja untuk provider image/audio hosted (DALL·E, Midjourney via Replicate, ElevenLabs, dll.).

Bisakah saya menjalankan osFoundry sepenuhnya offline?

Ya — install desktop app, download model lokal, dan nonaktifkan route cloud. Mode local-first adalah setting workspace first-class.

Harga

Inference lokal: gratis (hardware Anda). BYOK: harga provider Anda, tanpa markup. Endpoint GPU yang dihosting osFoundry: per-detik waktu GPU, lihat halaman harga untuk tarif terkini.