Жизненный цикл модели делится на две принципиально разные фазы: обучение (training) — когда модель на основе примеров подстраивает свои веса, и инференс (inference) — когда уже готовая, «замороженная» модель применяется к новым данным для получения предсказания или ответа. Каждый раз, когда вы задаёте вопрос ChatGPT или GigaChat, происходит инференс: веса модели не меняются, она просто вычисляет наиболее вероятный ответ.
Инференс требует значительно меньше вычислительных ресурсов, чем обучение, но поскольку он выполняется миллионы раз в день для всех пользователей продукта, именно суммарная стоимость инференса — а не разовые затраты на обучение — определяет операционные расходы ИИ-компании и, соответственно, цену подписки или API.
Для снижения стоимости инференса компании применяют квантование (снижение точности вычислений), дистилляцию (обучение меньшей модели-копии) и специализированное «железо» — инференс-чипы, оптимизированные под конкретный тип вычислений вместо обучения.