What is Temperature?

TemperatureはLLM出力のランダム性を制御します。0は決定的、値が大きいほど多様性が増します。osFoundryではチャットリクエスト単位、エージェントプロファイル単位でtemperatureを設定できます。

Detail

数学的には、temperatureはsoftmax前のロジットをスケールします。値を上げると確率分布が平坦化し、確率の低いトークンが選ばれやすくなります。0ではモデルは常に最上位のトークンを選びます。1.0でモデル本来の分布になります。1.5を超えると出力にノイズが乗ります。

コード、データ抽出、構造化出力などの事実重視タスクでは低めの値(0〜0.3)を、ライティングや発想などの創造的タスクでは高め(0.7〜1.0)を使います。