Синтетические данные — это данные, созданные искусственно (программно или с помощью другой модели ИИ), а не собранные напрямую из наблюдений за реальным миром. Например, вместо сбора тысяч реальных диалогов службы поддержки, можно попросить LLM сгенерировать правдоподобные примеры таких диалогов для последующего обучения другой, специализированной модели.
Такой подход особенно полезен, когда реальных данных недостаточно, их сбор дорог или связан с рисками приватности (например, медицинские записи). Однако у метода есть риск: чрезмерное обучение моделей преимущественно на данных, сгенерированных другими ИИ, а не созданных людьми, может приводить к постепенному ухудшению разнообразия и качества («схлопывание модели», model collapse), поэтому синтетические данные обычно комбинируют с реальными.
Синтетические данные широко применяются для файнтюнинга специализированных моделей под узкие задачи, где сбор достаточного объёма реальных примеров экономически нецелесообразен или физически затруднён.