Процесс получения ответа от уже обученной модели — в отличие от обучения, это то, что происходит при каждом вашем запросе.
Жизненный цикл модели делится на две принципиально разные фазы: обучение (training) — когда модель на основе примеров подстраивает свои веса, и инференс (inference) — когда уже готовая, «замороженная» модель применяется к новым данным для получения предсказания или ответа. Каждый раз, когда вы задаёте вопрос ChatGPT или GigaChat, происходит инференс: веса модели не меняются, она просто вычисляет наиболее вероятный ответ.
Инференс требует значительно меньше вычислительных ресурсов, чем обучение, но поскольку он выполняется миллионы раз в день для всех пользователей продукта, именно суммарная стоимость инференса — а не разовые затраты на обучение — определяет операционные расходы ИИ-компании и, соответственно, цену подписки или API.
Для снижения стоимости инференса компании применяют квантование (снижение точности вычислений), дистилляцию (обучение меньшей модели-копии) и специализированное «железо» — инференс-чипы, оптимизированные под конкретный тип вычислений вместо обучения.
Обучение — это процесс подбора весов модели на обучающих данных, выполняется один раз (или периодически при обновлении). Инференс — это использование уже готовой модели для ответа на конкретный запрос, происходит при каждом обращении.
Большие модели требуют мощных GPU для вычислений при каждом запросе, а масштаб (миллионы запросов в день) делает совокупные расходы значительными, даже если один запрос стоит центы.
Частично — да: методы вроде квантования и дистилляции позволяют сократить время и стоимость инференса с минимальной потерей точности ответа.