ホーム / 用語集 / パラメータ数
パラメータ数とは？
パラメータとは、ニューラルネットワークの学習済み重みのことです。osFoundryのカタログでは、すべてのモデルにパラメータ数(例: 7B、70B)が表示されており、ハードウェアと品質要件に合わせて選べます。
詳しく
パラメータとは学習の過程で調整された重みの個数で、7Bなら70億、70Bなら700億です。モデルの「容量」を示す最も手軽な指標ですが、後述のとおりパラメータ数だけで品質は決まりません。
必要メモリはパラメータ数×1パラメータあたりのバイト数で見積もれます。FP16では1パラメータ約2バイトなので7Bで約14GB、4ビット量子化では約0.5バイト+管理情報なので7Bで4〜5GBが目安です。実行時にはこれに加えて、コンテキストを保持するKVキャッシュのメモリが上乗せされます。
サイズ帯ごとの体感は、あくまで傾向として、1〜4Bはオンデバイスや定型変換向き、7〜9Bは日常アシスタントの入門ライン、13〜14Bで応答に余裕が出て、30〜70Bは長い推論の一貫性や知識量で明確に差が付きます。それ以上のクラスは主にクラウドで提供されています。
パラメータ数が同じでも世代やモデル系列で実力は大きく違います。学習データの質と量、蒸留(大きいモデルの振る舞いを小さいモデルに写す技術)、アーキテクチャの改良により、新しい8Bが一世代前の30Bを上回ることも珍しくありません。パラメータ数はクラス分けの目安にして、同クラス内では新しさと用途別の評価で選ぶのが実用的です。
MoE(Mixture of Experts)型のモデルでは、総パラメータとアクティブパラメータを区別する必要があります。1トークンの計算に使われるのは選ばれた一部(アクティブ分)だけですが、メモリには総パラメータ分を載せる必要があります。速度の見積もりはアクティブ数、メモリ要件は総数で見る、と使い分けます。
osFoundryでの扱い
osFoundryのカタログではモデルごとにパラメータ数が表示され、手元のハードウェアでローカル実行できるかを判断する起点になります。同じモデルの量子化違いも同一のハンドルで扱えるため、クラスを決めてから精度を調整する選び方がしやすくなっています。
よくある質問
8Bと70Bの体感差はどこに出ますか?
知識量、長い推論の一貫性、多段の指示への追従で差が出ます。逆に、言い換えや短い要約のような単純なタスクでは差を感じにくいことも多いです。
パラメータ数からメモリを見積もるには?
ビット幅×個数が基本です。FP16は約2バイト/パラメータ、4ビット量子化は約0.5バイト/パラメータ+管理情報で、7BのQ4なら4〜5GBが目安です。実行時はKVキャッシュ分も必要になります。
MoEモデルの総パラメータは全部動くのですか?
メモリには総パラメータ分を保持する必要がありますが、1トークンの計算に使われるのはアクティブパラメータのみです。速度はアクティブ数、メモリは総数で見積もります。
関連用語
関連機能