홈 / 기능 / 모든 모델 실행 / LoRA 핫스왑
osFoundry에서 추론 시점에 LoRA 어댑터 핫스왑
osFoundry는 단일 베이스 모델에서 LoRA 어댑터를 핫스왑합니다 — 재로드 없음, 1초 이내 전환. 하나의 베이스 모델 위에 여러 페르소나, 도메인 전문가, 또는 파인튜닝된 기술을 쌓고 요청별로 라우팅합니다. N개의 전문화된 변형을 N개의 모델 배포에서 하나로 제공하는 비용을 절감합니다.
Quick answer
- 베이스 모델당 최대 16개의 활성 LoRA 어댑터.
- 1초 이내 어댑터 전환 — 모델 재로드 없음.
- 하나의 베이스 모델을 위해 지불하고, 많은 전문화된 변형으로 라우팅합니다.
- osFoundry 내부에서 학습된 어댑터는 자동으로 등록됩니다.
Frequently asked questions
몇 개의 어댑터를 핫스왑할 수 있습니까?
단일 엔드포인트에서 베이스 모델당 최대 16개의 활성 어댑터.
다른 곳에서 학습한 어댑터에서도 작동합니까?
예 — .safetensors를 업로드하면 어댑터가 등록됩니다.
Related features