Фундаментальная модель (Foundation Model)

Коротко

• Foundation Model — крупная модель, предобученная на огромном и разнообразном массиве данных (текст, изображения, аудио и др.)
• Термин шире, чем LLM — включает не только языковые, но и мультимодальные, визуальные и мультидоменные модели
• Служит «базой», под которую дообучают (файнтюнят) специализированные версии под конкретные задачи
• GPT, Gemini, GigaChat, Kandinsky — все это фундаментальные модели, каждая со своей областью применения

Определение

Фундаментальная модель (foundation model) — это большая нейросеть, обученная на широком и разнородном массиве данных таким образом, что полученные ею общие представления можно переиспользовать для решения множества разных задач — от генерации текста до анализа изображений — без обучения новой модели с нуля.

Термин ввели исследователи Стэнфорда в 2021 году, чтобы подчеркнуть смену парадигмы: вместо того чтобы обучать отдельную модель под каждую задачу, компании теперь берут одну фундаментальную модель и адаптируют её через файнтюнинг или промпт-инжиниринг под нужды конкретного продукта.

На практике

GigaChat и YandexGPT — примеры фундаментальных языковых моделей, а Kandinsky — фундаментальная модель для генерации изображений; на базе каждой из них строятся десятки прикладных сервисов.