osFoundry / Platform
モデル量子化
あらゆるモデルを数クリックでq4 / q3まで量子化。70BモデルをノートPCのGPUで動かせます。
概要
osFoundryのモデル量子化は、オープンウェイトモデルの重みの数値精度を下げることでモデルを小さくします。フル精度ではGPUのメモリに収まらないモデルも、量子化すれば収まるようになります。使い方は、osFoundryにモデルを指定し、q4やq3といった目標レベルを選ぶだけで、ローカルで実行できる量子化済みのコピーが生成されます。実用上の効果は、多くの人が検索するとおりのものです。通常はマルチGPUのサーバーを要する700億パラメータのモデルが、精度をいくらか犠牲にする代わりに、1台のノートパソコンのGPUで読み込んで動かせるところまで圧縮できます。
osFoundryはローカルファーストでBYOKのデスクトップワークスペースなので、量子化はお使いのマシン上で行われ、量子化したモデルは自分で移動しない限り端末内にとどまります。クラウドへの往復は必要なく、モデルとの間に再販業者が入ることもありません。量子化したモデルを動かすのと同じワークスペースが、チャット、エージェント、アプリ、コード、ナレッジも動かします。そのため量子化したモデルは、どこか別の場所で組み込む必要のあるファイルではなく、その作業のローカルバックエンドとしてすぐに使えます。
量子化はトレードオフであり、osFoundryはそれを利用者が制御できるものとして扱います。q4のビルドは、16ビットの重みに対してメモリ使用量をおよそ4分の1に抑えつつ、モデルの品質の大部分を保ちます。q3まで下げるとメモリはさらに節約できますが、精度はより多く失われます。レベルはモデルごとに選べて、元のモデルと量子化したコピーの両方を保持でき、ローカルの量子化モデルとクラウドや自己ホストのモデルを同じ画面から切り替えられます。素早いローカル下書きには小さな量子化モデルを、仕上げには大きなクラウドモデルを使いたいときに役立ちます。
主な機能
- 任意のオープンウェイトモデルを数クリックでq4やq3まで量子化でき、コマンドラインのパイプラインを組む必要はありません
- 量子化でメモリ使用量を削り、70Bクラスのモデルを1台のノートパソコンのGPUで実行できます
- 量子化はお使いの端末上でローカルに実行され、量子化したモデルは端末内にとどまります。何もアップロードされません
- 元のモデルと量子化したコピーを並べて保持し、精度レベルをモデルごとに選べます
- 量子化したローカルモデルを、クラウドや自己ホストのモデルと1つのBYOKワークスペースから実行できます。上乗せ料金はありません
活用例
- 個人開発者：70Bモデルをq4に量子化してノートパソコンのGPUで動かし、飛行機の中や外部接続を制限したネットワークでもオフラインでコーディングの助けを得る
- プライバシーを重視するアナリスト：量子化したモデルを完全に端末内に保持し、分析中に機密文書がマシンの外へ出ないようにする
- コストを気にする開発者：反復的な下書きには高速なローカルのq3モデルを使い、最終出力のときだけ同じワークスペース内でクラウドモデルに切り替える
よくある質問
q4やq3にするとモデルはどれくらい小さくなりますか
量子化はモデルの重みの精度を下げるため、メモリ使用量が大きく減ります。q4のビルドは同じモデルの16ビットの重みに対しておよそ4分の1のサイズです。フル精度ではマルチGPUのサーバーを要する70Bモデルが1台のノートパソコンのGPUに収まるのはこのためです。q3はメモリをさらに節約できますが精度はより多く失われるため、望むトレードオフに応じてレベルをモデルごとに選びます。
量子化するとモデルの品質は下がりますか
いくらか下がります。量子化はトレードオフで、q4はメモリを大幅に削りつつモデルの品質の大部分を保ち、q3はメモリをより多く節約する代わりに精度をより多く失います。osFoundryではレベルをモデルごとに選べて、元のモデルを量子化したコピーと並べて保持できます。手探りで決めるのではなく、比較したうえで作業に許容できる範囲を判断できます。
量子化はどこで実行され、モデルはマシンの外に出ますか
ローカルで実行されます。osFoundryはローカルファーストでBYOKのデスクトップワークスペースなので、量子化はお使いの端末上で行われ、量子化したモデルは自分で移動しない限りそこにとどまります。クラウドへのアップロードは必須ではなく、モデルとの間に再販業者もいません。これが、プライベートな作業やオフラインの作業に適している理由です。