홈 / 기능 / 학습 및 파인튜닝 / LoRA 파인튜닝

osFoundry에서 LoRA로 Llama, Mistral, Qwen 파인튜닝

osFoundry는 자체 데이터로 LoRA 또는 QLoRA를 사용해 모든 오픈 웨이트 베이스 모델을 파인튜닝합니다 — 노트북 없음, 명령줄 없음. 베이스를 선택하고, 데이터셋(KB, 업로드, 또는 공개 데이터셋)을 가리키고, LoRA 랭크를 설정하고, 학습합니다. 어댑터는 모델 카탈로그에 등록되며 학습이 완료되는 순간 Maestro와 Room App에서 즉시 라우팅할 수 있습니다.

Quick answer

60개 이상의 오픈 웨이트 베이스 모델에 대한 LoRA + QLoRA.
KB, JSONL/CSV 업로드, 또는 250K 공개 데이터셋으로 학습합니다.
UI 기반 — 노트북 없음.
어댑터는 학습이 완료되는 순간 워크스페이스에서 라우팅 가능합니다.

Key capabilities

60개 이상의 지원되는 베이스 모델(Llama 3, Mistral, Qwen, Phi, Gemma…).
LoRA + QLoRA 흐름. 랭크 8/16/32/64 선택 가능.
KB(자동 형식화됨), JSONL/CSV/parquet, 또는 250K 공개 데이터셋으로 학습.
세 가지 런타임: 로컬 GPU, osFoundry 클라우드, 자체 인프라.
N 단계마다 체크포인트 — 마지막 체크포인트에서 중단된 작업 재개.
어댑터 내보내기: 전체 학습 구성이 있는 .safetensors.

How to do it in osFoundry

베이스 + LoRA 대상 선택 — 베이스 모델을 선택합니다. LoRA 랭크, 학습률, 에포크, 대상 모듈을 구성합니다. 대부분의 경우 기본값이 작동합니다.
데이터셋 가리키기 — KB(자동 명령 쌍 형식)를 선택하거나, JSONL을 업로드하거나, 공개 데이터셋을 선택합니다.
학습 실행 — 런타임(로컬/클라우드/BYO)을 선택합니다. 학습 시 손실 곡선을 실시간으로 봅니다.
어댑터 핫스왑 — 학습이 완료되면 배포된 베이스 모델 엔드포인트에 어댑터를 핫스왑합니다. 동일한 핸들, 새로운 동작.

Use cases

고객 지원: 과거 티켓에서 Mistral 7B를 LoRA 튜닝합니다. 에이전트는 이제 제품 지식과 함께 귀사의 톤으로 답변합니다.
법률 팀: 라벨링된 계약서로 Llama 3.1 8B를 학습합니다. 회사 스타일로 새 문서를 온프레미스에서 레드라인합니다.
게임 스튜디오: 캐릭터별 LoRA가 하나의 베이스 모델에 핫스왑됩니다. 하나의 GPU, 많은 구별되는 NPC 음성.

Frequently asked questions

LoRA 파인튜닝은 얼마나 걸립니까?

50K 행의 7B 모델: A100에서 ~30분. 70B: ~3시간. 소비자용 M2/M3 Mac: 7B의 경우 ~2시간.

어떤 랭크를 사용해야 합니까?

랭크 16부터 시작합니다. 더 어려운 도메인 시프트의 경우 32 또는 64로 늘립니다. 스타일 튜닝의 경우 8로 줄입니다.

내 지식 베이스로 학습할 수 있습니까?

예 — KB는 자동으로 명령 쌍으로 형식화됩니다.

어댑터를 내보낼 수 있습니까?

예 — 전체 학습 구성이 있는 .safetensors 다운로드. osFoundry 외부에도 배포 가능합니다.

QLoRA가 지원됩니까?

예 — QLoRA는 베이스를 4비트로 양자화하여 VRAM을 줄입니다. GPU가 메모리에 빠듯한 경우 학습 구성에서 QLoRA를 선택합니다.

결과를 어떻게 평가합니까?

나란히 비교 보기를 사용하여 평가 세트에서 어댑터를 베이스와 비교합니다. 품질이 기준을 통과하면 승격합니다.

Pricing

로컬: 무료. 클라우드: GPU 시간 초당. A100에서 7B LoRA는 실행당 대략 $2-3입니다. 70B는 $20-30입니다.