What is パラメータ数?

パラメータとは、ニューラルネットワークの学習済み重みのことです。osFoundryのカタログでは、すべてのモデルにパラメータ数(例: 7B、70B)が表示されており、ハードウェアと品質要件に合わせて選べます。

Detail

パラメータ数はLLMの容量を示す大まかな指標です。7Bモデルは70億の学習済み重みを、70Bモデルは700億の重みを持ちます。一般にパラメータ数が多いほど品質は高くなりますが、メモリと計算量は指数関数的に増大します。7B Q4モデルは約6 GBのVRAMで動き、70B Q4モデルは約50 GBを必要とします。

パラメータ数は品質を決める唯一の要素ではありません。学習データ、アーキテクチャ、ポストトレーニングも影響します。最新の7Bモデルは、一般的なベンチマークで一昔前の70Bモデルを上回ることもしばしばです。