Beranda / Glosarium / Self-hosting

What is Self-hosting?

Self-hosting berarti menjalankan LLM pada infrastruktur yang Anda kontrol — laptop Anda, data center Anda, atau GPU dedicated yang Anda provisi. Runtime self-host osFoundry mendukung salah satu dari 76.000 model open-weight dalam satu klik.

Detail

Self-hosting LLM memberi Anda kendali penuh atas bobot, runtime, routing, dan aliran data. Trade-off-nya adalah Anda (atau platform Anda) memiliki ops infra. Alasan umum untuk self-host: privasi, residensi data, prediktabilitas biaya pada skala, atau menjalankan model yang tidak tersedia via API.

Self-hosting hanya bekerja dengan model open-weight. Model proprietary (GPT-4, Claude) hanya tersedia via API.

How osFoundry approaches Self-hosting

osFoundry meruntuhkan pajak integrasi self-host: inference server bawaan, install model satu-klik, routing seluruh workspace, tanpa setup llama.cpp. Hardware lokal, cloud kami, atau server GPU Anda sendiri — pilih per model.