Temperature (температура) — это настраиваемый параметр языковой модели, который управляет степенью случайности при выборе следующего слова (токена) из распределения вероятностей, которое модель вычисляет на каждом шаге генерации. При температуре, близкой к нулю, модель почти всегда выбирает наиболее вероятный вариант, что даёт стабильные и предсказуемые ответы.
При более высокой температуре модель чаще выбирает менее вероятные, но всё же правдоподобные варианты продолжения, что делает ответы более разнообразными и творческими, но одновременно повышает риск менее связных или менее точных с фактической точки зрения результатов — поэтому выбор значения температуры зависит от типа задачи.
Для задач, требующих фактической точности (юридические справки, техническая документация, код), обычно выбирают низкую температуру; для творческих задач (написание историй, генерация идей, брейнсторминг) — более высокую, чтобы получить разнообразные варианты.