홈 / 용어집 / 셀프 호스팅

What is 셀프 호스팅 (Self-hosting)?

셀프 호스팅은 LLM을 사용자가 제어하는 인프라(노트북, 데이터센터, 또는 직접 프로비저닝한 전용 GPU)에서 실행하는 것을 의미합니다. osFoundry의 셀프 호스팅 런타임은 76,000개의 오픈 웨이트 모델을 원 클릭으로 지원합니다.

Detail

LLM을 셀프 호스팅하면 가중치, 런타임, 라우팅, 데이터 흐름에 대한 완전한 제어권을 가집니다. 트레이드오프는 사용자(또는 사용자의 플랫폼)가 인프라 운영을 책임진다는 점입니다. 셀프 호스팅의 일반적인 이유: 개인 정보 보호, 데이터 거주성, 규모에서의 비용 예측 가능성, 또는 API로 제공되지 않는 모델 실행입니다.

셀프 호스팅은 오픈 웨이트 모델에서만 작동합니다. 독점 모델(GPT-4, Claude)은 API 전용입니다.

How osFoundry approaches 셀프 호스팅 (Self-hosting)

osFoundry는 셀프 호스팅 통합 비용을 줄여줍니다: 내장 추론 서버, 원 클릭 모델 설치, 워크스페이스 전반 라우팅, llama.cpp 설정 불필요. 로컬 하드웨어, 당사 클라우드, 또는 자체 GPU 서버 — 모델별로 선택하십시오.