MLOps

Коротко

• MLOps — практики и инструменты для надёжного развёртывания и поддержки моделей машинного обучения в реальной эксплуатации
• Решает проблему разрыва между «моделью, которая хорошо работает в ноутбуке дата-сайентиста» и «моделью в продакшене»
• Включает мониторинг качества модели во времени, автоматическое переобучение и версионирование данных
• Аналог DevOps, но для машинного обучения — с дополнительным вниманием к деградации качества модели

Определение

MLOps (Machine Learning Operations) — это набор практик, процессов и инструментов, обеспечивающих надёжный жизненный цикл ML-модели после того, как дата-сайентист создал прототип: автоматизированное развёртывание в продакшен, непрерывный мониторинг качества предсказаний, версионирование данных и моделей, а также механизмы автоматического переобучения при деградации точности.

Необходимость MLOps возникает из специфической проблемы ML-систем: в отличие от обычного программного кода, качество модели может незаметно деградировать со временем из-за изменения распределения входных данных в реальном мире (так называемый data drift) — без специального мониторинга такая деградация может долго оставаться незамеченной и приводить к ошибочным решениям.

На практике

Зрелые MLOps-практики особенно критичны для моделей, встроенных в финансовые или медицинские решения, где незамеченная деградация качества модели может привести к прямым убыткам или ошибочным решениям, влияющим на людей.