osFoundry / Platform
로컬 서버
노트북이나 워크스테이션에서 로컬 추론을 실행하세요. 라우팅은 자동입니다. Maestro가 가능할 때 로컬을 선택합니다.
개요
로컬 서버를 쓰면 모든 요청을 호스팅형 API로 보내는 대신 AI 추론을 내 컴퓨터에서 실행할 수 있습니다. osFoundry에는 로컬 추론 서버가 함께 들어 있어, Mac이나 워크스테이션의 폴더에 있는 GGUF 형식 모델 파일을 불러와 앱의 나머지 부분에 제공합니다. 모델이 이미 가진 하드웨어에서 돌기 때문에 로컬 실행은 토큰당 비용이 들지 않고 API 키도 필요 없으며, 프롬프트와 그 데이터가 기기 안에 머뭅니다. 콘텐츠가 비공개이거나 규제 대상이거나, 아니면 그저 사내 밖으로 나가지 않길 바랄 때 이 점이 중요해집니다.\n\nosFoundry 내부에서 Maestro는 각 요청이 어디로 갈지 정하는 라우팅 계층입니다. 라우팅은 자동입니다. 요청이 내 컴퓨터가 처리할 수 있는 범위에 들어맞을 때는 Maestro가 로컬 서버를 고르고, 로컬 모델로는 감당하지 못하는 기능이 작업에 필요할 때만 (본인 키를 써서) 클라우드 모델로 손을 뻗습니다. 메시지마다 일일이 연결할 필요가 없으며, 채팅과 에이전트, 파이프라인 역할 전반에 걸쳐 상시 적용되는 정책입니다. 로컬 런타임은 설정 패널에서 계속 제어할 수 있습니다. GPU로 오프로드할 트랜스포머 레이어 수, 컨텍스트 창 크기, KV 캐시 양자화 방식(f16, bf16, q8_0, q4_0 등), 병렬 요청 슬롯 수, 그리고 멀티 GPU 머신에서는 모델을 장치 간에 어떻게 나눌지까지 조정합니다.\n\n이것이 중요한 이유는 대부분의 \"워크스페이스 속 AI\" 제품이 데이터가 갈 곳을 딱 한 군데, 자사 서버로만 열어 두기 때문입니다. osFoundry는 설계부터 BYOK이자 로컬 우선입니다. 로컬 서버는 그 설계의 바닥입니다. 비용이 들지 않고, 아무것도 밖으로 드러내지 않으며, 하드웨어가 돌릴 수 있는 모델이라면 오프라인에서도 작동합니다. 그리고 더 무거운 작업을 위한 BYOK 클라우드 키가 바로 그 옆에 놓입니다. 하나의 워크스페이스, 두 갈래의 길, 어느 쪽에도 좌석당 요금이나 재판매 마진이 없습니다.
주요 기능
- 내장 llama.cpp 추론 서버를 통해 GGUF 모델을 Mac이나 워크스테이션에서 직접 실행합니다. 클라우드 왕복도 없고, 로컬 실행에는 API 키도 필요 없습니다
- Maestro가 각 턴을 자동으로 라우팅해 요청이 맞아떨어지면 로컬 서버를 고르고, 작업에 필요할 때만 클라우드 모델로 넘어갑니다
- 로컬 런타임을 UI에서 조정합니다. GPU 오프로드 레이어, 컨텍스트 크기, KV 캐시 타입(f16/q8_0/q4_0 등), 병렬 슬롯, 멀티 GPU 분할까지 설정할 수 있습니다
- 로컬 실행에서는 프롬프트와 데이터를 기기에 남겨, 비공개이거나 규제 대상인 콘텐츠가 기기 밖으로 나가지 않습니다
- BYOK 클라우드 키와 같은 워크스페이스에 함께 자리합니다. 채팅, 에이전트, 앱, 코드, 지식이 도구를 바꾸지 않고 로컬이든 클라우드든 끌어다 씁니다
활용 사례
- 프라이버시를 중시하는 엔지니어: 계약서와 코드베이스가 담긴 프롬프트가 워크스테이션을 벗어나지 않도록 로컬 GGUF 모델을 돌리고, 이따금 나오는 더 어려운 질의에 한해서만 Maestro가 클라우드 키로 올라가게 둡니다
- 예산이 빠듯한 1인 개발자: 일상적인 채팅과 에이전트 작업을 로컬 추론에 맡겨 토큰당 클라우드 지출을 거의 0에 가깝게 유지하고, GPU 오프로드와 컨텍스트 크기를 노트북 한 대에 맞춰 조정합니다
- 워크스테이션 파워 유저: 큰 모델을 여러 GPU에 나누고 병렬 슬롯을 늘려 여러 에이전트를 동시에 처리합니다. 전부 기기 위에서 이뤄집니다
자주 묻는 질문
모델을 로컬로 실행하려면 API 키가 필요한가요?
아니요. 로컬 실행은 내 컴퓨터의 모델 파일과 내장 추론 서버를 쓰므로 토큰당 과금이 없고 키도 필요 없습니다. 키는 Maestro가 요청을 클라우드 모델로 라우팅할 때만 필요하며, 그 키는 본인 것입니다. osFoundry는 접근 권한을 재판매하거나 마진을 붙이지 않습니다.
osFoundry는 로컬과 클라우드를 어떻게 결정하나요?
라우팅은 Maestro가 자동으로 처리합니다. 요청이 내 컴퓨터가 돌릴 수 있는 범위에 들어맞으면 로컬 서버를 우선하고, 작업에 필요할 때만 클라우드 모델로 넘어갑니다. 로컬 런타임(GPU 레이어, 컨텍스트 크기, 캐시 타입)은 직접 설정하지만, 메시지마다 손으로 라우팅할 필요는 없습니다.
로컬 서버는 어떤 모델과 하드웨어를 지원하나요?
내 컴퓨터의 폴더에서 GGUF 형식 모델을 불러와 llama.cpp 방식 런타임으로 제공합니다. 레이어를 GPU로 오프로드하고, 메모리에 맞춰 컨텍스트 창과 KV 캐시 양자화를 조정하고, 여러 병렬 요청 슬롯을 돌리고, 여러 GPU에 나눌 수 있습니다. 어떤 모델이 잘 도는지는 RAM, VRAM, CPU에 달려 있습니다.