Крупная модель, обученная на широком массиве данных и приспособленная под множество разных задач без необходимости обучения с нуля.
Фундаментальная модель (foundation model) — это большая нейросеть, обученная на широком и разнородном массиве данных таким образом, что полученные ею общие представления можно переиспользовать для решения множества разных задач — от генерации текста до анализа изображений — без обучения новой модели с нуля.
Термин ввели исследователи Стэнфорда в 2021 году, чтобы подчеркнуть смену парадигмы: вместо того чтобы обучать отдельную модель под каждую задачу, компании теперь берут одну фундаментальную модель и адаптируют её через файнтюнинг или промпт-инжиниринг под нужды конкретного продукта.
GigaChat и YandexGPT — примеры фундаментальных языковых моделей, а Kandinsky — фундаментальная модель для генерации изображений; на базе каждой из них строятся десятки прикладных сервисов.
LLM (большая языковая модель) — это частный случай фундаментальной модели, ограниченный текстом. Foundation model — более широкий термин, включающий также модели для изображений, аудио и мультимодальные системы.
Термин подчёркивает функцию модели — служить универсальной базой для множества прикладных задач через дообучение, а не просто описывает архитектуру.
Да, во многих случаях достаточно грамотного промпт-инжиниринга — дообучение нужно, когда требуется узкая специализация или работа с закрытыми данными.