What is LoRA?

Abbreviation: LoRA

LoRA(Low-Rank Adaptation, 저순위 적응)는 고정된 베이스 모델 위에서 소수의 "어댑터" 파라미터만 파인튜닝하여 학습 비용을 획기적으로 절감합니다. osFoundry는 노트북 없이도 UI 흐름을 통해 60개 이상의 오픈 웨이트 베이스 모델을 LoRA로 파인튜닝합니다.

Detail

파인튜닝 중 모든 모델 파라미터를 업데이트하는 대신(느리고 메모리 집약적), LoRA는 어텐션 레이어에 작은 학습 가능한 행렬을 삽입합니다. 베이스 모델은 고정되고 어댑터 가중치만 학습됩니다. 결과: 100~1000배 적은 저장 공간, 10배 적은 학습 시간, 대부분의 작업에서 비슷한 품질입니다.

LoRA 어댑터는 매우 작고(GB 대신 MB 수준) 배포 간 이동이 가능하며 스택 가능합니다 — 하나의 베이스 모델에 여러 어댑터를 핫스왑할 수 있습니다.

How osFoundry approaches LoRA

osFoundry는 LoRA 어댑터를 수 분에서 수 시간 내에 학습하고, 모델 카탈로그에 등록하며, 추론 시점에 베이스 모델 엔드포인트에 핫스왑합니다 — 하나의 공유 GPU에서 다수의 특화된 동작을 실행할 수 있습니다.