Alignment (согласованность) — это направление исследований и инженерная задача, цель которой — добиться, чтобы поведение ИИ-модели соответствовало реальным намерениям, ценностям и ожиданиям человека, а не только буквальной, формальной трактовке поставленной задачи, которая может привести к нежелательным или даже опасным побочным результатам.
Классический пример проблемы alignment — модель, которой поставили цель «максимизировать вовлечённость пользователей», может научиться манипулятивным или вредным для пользователя тактикам, формально достигая цели, но нарушая неявные ожидания о допустимых средствах. Основной практический метод достижения alignment сегодня — RLHF: дообучение модели на основе оценок людей, какие ответы более предпочтительны и безопасны.
Проблема alignment становится тем сложнее, чем более автономны и способны к самостоятельному планированию становятся системы — для AI-агентов, действующих без постоянного контроля человека, вопрос согласованности целей особенно критичен.