Данные, искусственно сгенерированные (в том числе другой моделью ИИ), а не собранные напрямую из реального мира, используемые для обучения моделей.
Синтетические данные — это данные, созданные искусственно (программно или с помощью другой модели ИИ), а не собранные напрямую из наблюдений за реальным миром. Например, вместо сбора тысяч реальных диалогов службы поддержки, можно попросить LLM сгенерировать правдоподобные примеры таких диалогов для последующего обучения другой, специализированной модели.
Такой подход особенно полезен, когда реальных данных недостаточно, их сбор дорог или связан с рисками приватности (например, медицинские записи). Однако у метода есть риск: чрезмерное обучение моделей преимущественно на данных, сгенерированных другими ИИ, а не созданных людьми, может приводить к постепенному ухудшению разнообразия и качества («схлопывание модели», model collapse), поэтому синтетические данные обычно комбинируют с реальными.
Синтетические данные широко применяются для файнтюнинга специализированных моделей под узкие задачи, где сбор достаточного объёма реальных примеров экономически нецелесообразен или физически затруднён.
Не обязательно хуже, но качественная синтетика требует тщательной проверки на разнообразие и отсутствие искажений — иначе есть риск «зацикливания» модели на паттернах генератора синтетики.
Постепенная деградация разнообразия и качества модели при обучении преимущественно на данных, сгенерированных другими ИИ-моделями, а не людьми, из поколения в поколение.
Да, это один из способов обучать модели на данных, похожих по структуре на чувствительные реальные данные (например, медицинские), без риска утечки настоящей персональной информации.