홈 / 비교 / vs DIY 셀프 호스트
osFoundry와 DIY 셀프 호스트 AI 스택 비교
런타임 + 설정 레이어 + 공유 모델이 직접 와이어링하는 것보다 우위에 있는 이유입니다.
osFoundry는 관리형 셀프 호스트 런타임입니다. 모든 오픈 웨이트 모델을 원클릭으로 설치하고, Maestro에서 라우팅하며, osStudio에서 파이프라인을 커스터마이즈하고, 빌드한 것을 커뮤니티 카탈로그에 공유합니다. DIY 셀프 호스트 스택(llama.cpp, vLLM, 자체 검색 파이프라인, 자체 에이전트 프레임워크, 자체 인증)은 동일한 통제권을 제공하지만, 컴포넌트를 연결하는 데 훨씬 더 많은 주말을 쏟게 됩니다. osFoundry는 통합 비용을 압축합니다.
Quick answer
- osFoundry는 추론 + 라우팅 + 검색 + 에이전트 + 앱을 하나의 워크스페이스로 패키징합니다. DIY는 각각을 직접 연결해야 합니다.
- DIY와 동일한 데이터 통제 자세 — 오픈 웨이트 모델, 온디바이스 또는 BYO 인프라.
- osStudio 플러그인은 검색 단계, 라우팅 규칙, 포스트 훅을 위한 맞춤 코드를 대체합니다.
- 커뮤니티 카탈로그를 통해 다른 사람이 빌드한 것을 설치하고 공유할 수 있습니다.
What osFoundry is
osFoundry는 셀프 호스트 친화적인 플랫폼입니다. 오픈 웨이트 모델을 위한 내장 추론 서버(llama.cpp 설정 불필요), Maestro 오케스트레이터, 검색 파이프라인, 에이전트 프레임워크, 데이터베이스가 포함된 앱 런타임이 모두 통합되어 있습니다. 개별 부분(호스팅 GPU, 공개 앱 URL, 동기화)에 대해 저희 클라우드를 옵트인할 수 있지만, 런타임은 처음부터 끝까지 로컬 실행이 가능합니다. 엔터프라이즈를 위한 BYO-VPC도 제공됩니다.
What DIY 셀프 호스트 AI 스택 are
DIY 셀프 호스트 AI 스택은 직접 골라야 하는 컴포넌트들입니다: 추론 서버(llama.cpp / vLLM / Triton), 검색 레이어(pgvector + 리랭커), 에이전트 프레임워크(LangChain / 자체 제작), LLM 프록시, 인증, 감사 로깅, UI, 설정 시스템. 각각은 독립적으로 유지보수되며, 종종 릴리스 주기도 다릅니다. 통합이 곧 작업입니다.
Detailed comparison
| Capability | osFoundry | DIY 셀프 호스트 AI 스택 |
|---|
| 설정 시간 | 작동하는 채팅 + 에이전트까지 몇 분. | 작동하는 통합 스택까지 며칠. |
| 추론 런타임 | 내장, 원클릭 모델 설치. | llama.cpp / vLLM / Triton — 선택, 구성, 유지보수. |
| 검색 파이프라인 | Voyage 임베드 + 리랭커가 즉시 적용된, osStudio에서 구성 가능. | pgvector + 리랭커 라이브러리, 커스텀 글루. |
| 에이전트 프레임워크 | 세션, 자동화, 도구 스코핑이 포함된 내장. | LangChain 또는 직접 재작성. 영속화와 스코핑은 사용자의 문제. |
| 비용 | 클라우드 부분은 초당/GB당; 로컬은 무료. | GPU 청구서 + 운영 시간 + 온콜. |
| 커뮤니티 공유 | 플러그인, 에이전트, 설정을 위한 내장 카탈로그. | 유지보수 상태가 제각각인 GitHub 리포지토리. |
| 데이터 자세 | 로컬 실행 가능, 온디바이스, 셀프 호스트 친화적, BYO-VPC. | 동일 — 둘 다 데이터를 사용자 통제하에 둠. |
| 커스터마이징 깊이 | osStudio 버전 관리 설정 + 통합 지점을 위한 플러그인. | 무한 — 다만 모든 것을 직접 작성. |
When DIY 셀프 호스트 AI 스택 are the right pick
- 팀의 가치가 AI 스택 자체에 있는 경우입니다 — 사용자가 아닌 플랫폼을 빌드하는 경우입니다.
- 표준 런타임에 맞지 않는 특이한 요구사항이 있는 경우입니다(커스텀 KV 캐시 방식, 이종 양자화, 아직 카탈로그에 없는 멀티모달 스택).
- 연구 우선이며 모든 레이어에 대한 베어메탈 통제를 원하는 경우입니다.
When osFoundry is the right pick
- AI 인프라 팀이 되지 않고 제품에 AI 기능을 출시하고 싶은 경우입니다.
- 통합 비용 없이 셀프 호스트의 데이터 통제 자세를 원하는 경우입니다.
- 빌드한 것(osStudio 플러그인)을 공유하고 다른 사람이 빌드한 것을 사용할 공간을 원하는 경우입니다.
- 모든 통합 지점에 걸쳐 하나의 빌링 화면을 원하는 경우입니다.
- 직접 작성하지 않고 채팅/모니터/디버그할 수 있는 UI를 원하는 경우입니다.
Migration path
- DIY 스택과 함께 osFoundry 운영 — osFoundry를 설치하고, 추론 서버를 이미 셀프 호스트 중인 동일한 모델 가중치에 가리킵니다. 충돌 없음.
- 채팅 화면 먼저 이전 — DIY 채팅 UI 대신 Maestro를 엽니다. 동일한 모델, 더 예쁜 인터페이스에 검색과 에이전트가 이미 연결되어 있습니다.
- 검색 이전 — 기존 청크를 지식 베이스로 가져옵니다. osStudio가 파이프라인을 구성하며, 동일한 Voyage 임베딩 또는 자체 BYOK를 사용할 수 있습니다.
- DIY 부분을 하나씩 해체 — 각 레이어(추론, 검색, 에이전트, 인증, 감사)는 osFoundry가 팀을 위해 커버할 때 끌 수 있습니다. 빅뱅 이전 없음.
Frequently asked questions
내부적으로 llama.cpp를 계속 사용할 수 있나요?
osFoundry는 자체 추론 런타임을 가지고 있습니다 — llama.cpp가 필요 없습니다. 커스텀 런타임에 헌신하고 있다면, BYO-VPC / BYO-server 경로를 통해 Maestro를 자체 엔드포인트에 가리킬 수 있습니다.
osFoundry는 DIY 스택만큼 커스터마이즈 가능한가요?
통합 지점(프롬프트, 검색, 라우팅, 포스트 훅, 도구)에 대해서는 그렇습니다 — osStudio 플러그인을 통해서요. 런타임 내부(KV 캐시 관리, 어텐션 커널)에 대해서는 아닙니다. 이 부분은 의견이 반영되어 있습니다.
데이터를 여전히 통제할 수 있나요?
네. 로컬 우선 모드는 모든 것을 온디바이스에 유지합니다. BYO-VPC는 엔터프라이즈용으로 제공됩니다. 오픈 웨이트 모델은 독점 락인이 없음을 의미합니다.
비용은 어떤가요?
로컬 전용 사용의 경우 osFoundry는 무료입니다. 팀/클라우드 기능의 경우 초당 컴퓨트와 GB당 스토리지를 지불합니다 — 운영 시간을 고려하면 동일한 가동률로 동등한 DIY 인프라를 운영하는 것보다 일반적으로 60~90% 더 저렴합니다.
osFoundry 플러그인이 제 커스텀 코드를 대체할 수 있나요?
대부분의 패턴에서는 그렇습니다. 검색 단계, 포스트 훅, 라우팅 규칙, 커스텀 명령, 도구 UI, 워크스페이스 가드 모두 플러그인 슬롯이 있습니다. 커스텀 통합에서 작성할 동일한 TypeScript를 작성하여 플러그인으로 출시하고 공유하세요.
커뮤니티 카탈로그가 실제로 유용한가요?
점점 더 그렇습니다 — 앱, 에이전트, MCP 서버, 프롬프트, 검색 파이프라인이 이미 공유 가능합니다. 품질은 다양하며, 설치 후 포크가 일반적인 워크플로입니다.
Related comparisons
Related features