Главная / Глоссарий / Self-hosting

What is Self-hosting (самостоятельный хостинг)?

Self-hosting означает запуск LLM на инфраструктуре, которую вы контролируете — ваш ноутбук, ваш центр обработки данных или выделенный GPU, который вы предоставляете. Среда выполнения self-host osFoundry поддерживает любую из 76 000 моделей с открытыми весами в один клик.

Detail

Self-hosting LLM даёт вам полный контроль над весами, средой выполнения, маршрутизацией и потоком данных. Компромисс в том, что вы (или ваша платформа) владеете операционными вопросами инфраструктуры. Распространённые причины self-host: приватность, резидентство данных, предсказуемость затрат при масштабировании или запуск моделей, недоступных через API.

Self-hosting работает только с моделями с открытыми весами. Проприетарные модели (GPT-4, Claude) доступны только через API.

How osFoundry approaches Self-hosting (самостоятельный хостинг)

osFoundry устраняет интеграционный налог self-host: встроенный сервер инференса, установка модели в один клик, маршрутизация по всей рабочей области, никакой настройки llama.cpp. Локальное оборудование, наше облако или ваш собственный GPU-сервер — выберите для каждой модели.