Разметка данных

Коротко

• Разметка данных — присвоение меток сырым данным (например, «это спам» / «не спам») для последующего обучения модели
• Может выполняться людьми вручную, автоматизированными инструментами или другой ИИ-моделью
• Качество разметки напрямую определяет верхнюю границу качества обученной на этих данных модели
• RLHF (обучение с подкреплением на основе обратной связи от людей) — специализированный вид разметки для alignment

Определение

Разметка данных — это процесс присвоения меток, категорий или аннотаций сырым, необработанным данным — текстам, изображениям, аудиозаписям — чтобы модель могла обучиться на примерах с известным правильным ответом. Например, для обучения модели-классификатора спама нужен набор писем, каждое из которых размечено как «спам» или «не спам».

Разметка может выполняться вручную специально нанятыми людьми-разметчиками, полуавтоматически с использованием вспомогательных инструментов, либо с привлечением уже обученной модели для предварительной разметки с последующей проверкой человеком. Качество и последовательность разметки напрямую определяют потолок качества итоговой обученной модели — ошибки и противоречия в разметке модель унаследует как часть усвоенных закономерностей.

На практике

Специализированная разновидность разметки — сбор человеческих оценок предпочтительности разных вариантов ответа модели, используемая в RLHF для alignment языковых моделей под человеческие ценности и ожидания.