osFoundry / Platform
Server lokal
Jalankan inference lokal di mesin atau Workstation Anda. Rute otomatis — Maestro memilih lokal ketika bisa.
Apa itu
Server lokal memungkinkan Anda menjalankan inferensi AI di mesin sendiri alih-alih mengirim setiap permintaan ke API hosted. osFoundry menyertakan server inferensi lokal yang memuat berkas model berformat GGUF dari sebuah folder di Mac atau workstation Anda dan menyajikannya ke seluruh bagian aplikasi. Karena model berjalan di perangkat keras yang sudah Anda miliki, satu kali proses lokal tidak berbiaya per token, tidak butuh kunci API, dan menjaga prompt beserta datanya tetap di perangkat. Ini penting ketika kontennya bersifat privat, teregulasi, atau sekadar sesuatu yang tidak ingin Anda biarkan keluar dari kantor.\n\nDi dalam osFoundry, Maestro adalah lapisan perutean yang menentukan ke mana setiap permintaan pergi. Peruteannya otomatis: Maestro memilih server lokal setiap kali sebuah permintaan cocok dengan yang bisa ditangani mesin Anda, dan baru beralih ke model cloud (memakai kunci Anda sendiri) hanya ketika tugas membutuhkan kemampuan yang tak bisa dipenuhi model lokal. Anda tidak perlu mengatur ini per pesan; ini adalah kebijakan tetap yang berlaku untuk chat, agen, dan peran-peran pipeline. Kendali atas runtime lokal tetap di tangan Anda lewat panel pengaturan: berapa banyak lapisan transformer yang di-offload ke GPU, ukuran jendela konteks, kuantisasi KV-cache (f16, bf16, q8_0, q4_0, dan lainnya), jumlah slot permintaan paralel, dan pada mesin multi-GPU, cara membagi model di antara perangkat.\n\nIni penting karena kebanyakan produk \"AI di workspace Anda\" hanya memberi satu tempat ke mana data bisa pergi: server mereka. osFoundry dirancang BYOK dan local-first. Server lokal adalah fondasi rancangan itu: opsi yang tidak berbiaya, tidak membuka apa pun, dan bekerja offline untuk model yang bisa dijalankan perangkat keras Anda, sementara kunci cloud BYOK Anda berada tepat di sebelahnya untuk pekerjaan yang lebih berat. Satu workspace, dua jalur, tanpa biaya per kursi dan tanpa markup penjual ulang di keduanya.
Kemampuan utama
- Menjalankan model GGUF langsung di Mac atau workstation Anda lewat server inferensi llama.cpp bawaan, tanpa bolak-balik ke cloud dan tanpa kunci API untuk proses lokal
- Maestro merutekan setiap giliran secara otomatis dan memilih server lokal setiap kali permintaan cocok, beralih ke model cloud hanya saat tugas memerlukannya
- Menyetel runtime lokal dari UI: lapisan offload GPU, ukuran konteks, tipe KV-cache (f16/q8_0/q4_0 dan lainnya), slot paralel, dan pembagian multi-GPU
- Menjaga prompt dan data tetap di perangkat pada proses lokal, sehingga konten privat atau teregulasi tak pernah keluar dari mesin
- Berada di workspace yang sama dengan kunci cloud BYOK Anda: chat, agen, aplikasi, kode, dan pengetahuan menarik dari lokal atau cloud tanpa berpindah alat
Kasus penggunaan
- Insinyur yang peduli privasi: menjalankan model GGUF lokal agar prompt berisi kontrak dan basis kode tak pernah keluar dari workstation, dan membiarkan Maestro naik ke kunci cloud hanya untuk kueri sulit yang sesekali muncul
- Pembuat tunggal dengan anggaran terbatas: bersandar pada inferensi lokal untuk chat dan kerja agen sehari-hari agar biaya cloud per token nyaris nol, sambil menyetel offload GPU dan ukuran konteks agar pas di satu laptop
- Pengguna mahir workstation: membagi model besar ke beberapa GPU dan menambah slot paralel untuk melayani beberapa agen sekaligus, sepenuhnya di perangkat
Pertanyaan yang sering diajukan
Apakah saya butuh kunci API untuk menjalankan model secara lokal?
Tidak. Proses lokal memakai berkas model di mesin Anda sendiri dan server inferensi bawaan, jadi tidak ada tagihan per token dan tidak diperlukan kunci. Anda baru butuh kunci ketika Maestro merutekan permintaan ke model cloud, dan kunci itu milik Anda sendiri: osFoundry tidak menjual ulang akses maupun menambah markup.
Bagaimana osFoundry memutuskan antara lokal dan cloud?
Maestro menangani perutean secara otomatis. Ia mengutamakan server lokal setiap kali permintaan cocok dengan yang bisa dijalankan mesin Anda, dan baru beralih ke model cloud hanya ketika tugas memerlukannya. Anda mengatur runtime lokal (lapisan GPU, ukuran konteks, tipe cache), tetapi tak perlu merutekan setiap pesan secara manual.
Model dan perangkat keras seperti apa yang didukung server lokal?
Ia memuat model berformat GGUF dari sebuah folder di mesin Anda dan menyajikannya lewat runtime bergaya llama.cpp. Anda bisa meng-offload lapisan ke GPU, menyesuaikan jendela konteks dan kuantisasi KV-cache dengan memori Anda, menjalankan beberapa slot permintaan paralel, dan membagi ke beberapa GPU. Model mana yang berjalan mulus bergantung pada RAM, VRAM, dan CPU Anda.