osFoundry / Platform
LoRA 핫 스왑
실행 중인 베이스 모델에서 LoRA 어댑터를 50ms 미만으로 교체하세요. 다른 페르소나, 동일한 가중치.
개요
Hot-swap LoRA는 베이스 모델을 다시 로드하지 않고도 파인튜닝된 모델 인격 사이를 50밀리초 이내에 전환하게 해줍니다. LoRA(Low-Rank Adaptation) 어댑터는 가중치 델타를 모아둔 작은 묶음으로, 보통 수 메가바이트에 불과하며, 훨씬 큰 베이스 모델을 특정 어조나 작업, 도메인으로 이끌어 갑니다. 어댑터가 아주 작고 베이스 가중치는 공유되기 때문에, 베이스 모델 하나를 메모리에 올려둔 채 설정 하나를 바꾸는 것만큼 빠르게 수십 개의 어댑터를 오갈 수 있습니다. 인격은 달라도 가중치는 그대로입니다.\n\nosFoundry 안에서는 이 모든 과정이 전적으로 사용자의 기기에서 이루어집니다. osFoundry는 local-first 방식의 데스크톱 AI 워크스페이스이며, 그 로컬 런타임은 베이스 모델을 메모리에 상주시킨 채 어댑터만 그 위에 붙였다 뗐다 합니다. 수 기가바이트짜리 모델을 디스크에서 새로 로드하려면 수 초가 걸리고 GPU도 처음부터 예열해야 하지만, 이미 로드된 가중치 위에 LoRA 어댑터를 얹으면 그 과정을 전부 건너뜁니다. 50ms 이내라는 수치는 바로 여기서 나옵니다. 채팅이나 에이전트, 파이프라인 역할을 특정 어댑터로 지정하면, 다음 메시지는 그 페르소나, 예컨대 고객 지원 말투나 코드 리뷰어, 법률 요약 스타일을 거쳐 처리됩니다. 모델을 해체하고 다시 세울 필요가 없습니다. 다시 전환하면 같은 속도로 베이스로 돌아가거나 다른 어댑터로 넘어갑니다.\n\n이 기능이 중요한 이유는 다운로드해 둔 베이스 모델 하나를 거의 비용 없이 전문가들이 늘어선 서가로 바꿔주기 때문입니다. 페르소나마다 별도의 모델을 사거나 내려받거나 GPU에 올릴 필요가 없고, osFoundry는 bring-your-own-key이자 local-first이므로 시트당 요금도, 추론에 붙는 리셀러 마진도 없습니다. 베이스 모델과 어댑터는 사용자가 직접 준비하고, 추론은 사용자의 기기 안에 머뭅니다. 각 에이전트가 저마다의 동작을 필요로 하는 멀티 에이전트 구성에도, 각 페르소나를 움직이는 데이터가 결코 기기를 벗어나서는 안 되는 프라이버시 민감 작업에도 잘 들어맞습니다.
주요 기능
- 이미 로드된 베이스 모델 위에서, 수 기가바이트짜리 베이스 가중치를 다시 로드하지 않고 50ms 이내에 LoRA 어댑터를 교체합니다
- 베이스 모델 하나를 메모리에 상주시킨 채 여러 개의 저차원 어댑터를 그 위에 얹으므로, 페르소나 전환은 콜드 스타트가 아니라 포인터 교체로 끝납니다
- 모든 페르소나를 osFoundry의 로컬 런타임에서 온디바이스로 실행하여, 프롬프트와 어댑터, 출력이 기기를 벗어나지 않습니다
- 에이전트, 채팅, 파이프라인 역할마다 서로 다른 파인튜닝 어댑터를 지정하고, 세션 도중에도 그 사이를 전환합니다
- 베이스 모델도 어댑터도 직접 가져오며, 시트당 요금도, 추론에 붙는 리셀러 마진도 없습니다
활용 사례
- 1인 개발자: 7B 베이스 모델 하나를 로드해 둔 채, 탭을 오가며 코딩 어댑터와 글쓰기 어댑터, 요약 어댑터를 전환하되 그때마다 모델이 다시 로드되기를 기다리지 않습니다
- 멀티 에이전트 오케스트레이터: 파이프라인의 각 에이전트에 서로 다른 파인튜닝 LoRA를 지정하여, 리서처와 비평가, 편집자가 같은 공유 베이스 가중치 위에서 저마다의 어조로 동작하게 합니다
- 프라이버시를 중시하는 팀: 도메인 특화 페르소나를 전적으로 온디바이스에서 실행하여, 각 페르소나를 빚어내는 민감한 프롬프트와 출력이 로컬 기기를 벗어나지 않게 합니다
자주 묻는 질문
LoRA 어댑터를 핫스왑하는 것이 다른 모델을 로드하는 것보다 왜 빠른가요?
다른 모델을 로드하려면 수 기가바이트의 가중치를 디스크에서 읽고 GPU를 예열해야 하므로 수 초가 걸립니다. LoRA 어댑터는 저차원 델타 수 메가바이트에 불과하고, 이미 메모리에 상주하는 베이스 가중치 위에 얹히므로, 교체는 콜드 스타트가 아니라 작은 인메모리 연산에 그칩니다. osFoundry의 로컬 런타임에서 50ms 이내입니다.
페르소나마다 별도의 베이스 모델이 필요한가요?
아닙니다. 오히려 그것을 없애는 것이 이 기능의 취지입니다. 베이스 모델 하나는 로드된 채로 두고, 각 페르소나는 같은 가중치 위에 얹은 서로 다른 어댑터일 뿐입니다. 베이스는 한 번 내려받아 보관하고, 이후에는 작은 어댑터들을 서가처럼 갖춰 두고 전환합니다. 페르소나마다 전체 모델을 저장하고 GPU에 올릴 필요가 없습니다.
어댑터 교체는 제 기기에서 일어나나요, 아니면 클라우드에서 일어나나요?
사용자의 기기에서 일어납니다. osFoundry는 local-first 데스크톱 워크스페이스로, 온디바이스 런타임을 통해 로컬 모델을 실행하므로 베이스 모델과 어댑터, 그리고 각 페르소나를 거치는 데이터가 모두 기기 안에 머뭅니다. bring-your-own-key 방식이며, 시트당 요금도 추론에 붙는 마진도 없습니다.