Новые способности модели, которые внезапно проявляются при достижении определённого масштаба (параметров, данных), но отсутствуют у меньших версий той же архитектуры.
Эмерджентные способности ИИ (emergent abilities) — это навыки языковой модели, которые не проявляются постепенно и пропорционально росту масштаба модели, а возникают достаточно резко после того, как модель (по числу параметров или объёму обучающих данных) переходит через определённый порог, — при этом у меньших моделей той же архитектуры и семейства аналогичная способность может отсутствовать почти полностью.
Классическими примерами эмерджентных способностей называют умение решать многошаговые арифметические задачи, следовать сложным инструкциям с несколькими условиями или обучаться новой задаче по паре примеров прямо в промпте (few-shot обучение) — все эти способности практически не проявляются у малых версий модели, но резко возникают при переходе к более крупному масштабу. Точный механизм, почему это происходит именно скачкообразно, а не плавно, остаётся предметом дискуссий в исследовательском сообществе.
Понимание эмерджентности важно при выборе модели для конкретной задачи: если задача требует сложного многошагового рассуждения, малая языковая модель (SLM) может не справиться с ней вовсе не потому, что она «немного хуже», а потому что нужная способность у моделей такого масштаба может отсутствовать в принципе.
Это сложно — часть исследователей утверждает, что скачкообразность отчасти объясняется выбором метрики измерения, а не фундаментальным свойством модели, поэтому единого мнения в научном сообществе пока нет.
Не совсем — эмерджентность говорит о том, что некоторые конкретные способности требуют определённого масштаба, но общее качество модели зависит и от данных, и от архитектуры, а не только от размера.
Перед тем как отказываться от малой и более дешёвой модели в пользу более крупной, стоит на практике проверить, действительно ли нужная задаче способность появляется у меньшей модели — иногда достаточно модели меньшего масштаба.