GPU-кластер — это вычислительная система, объединяющая большое количество графических процессоров (GPU), которые изначально создавались для рендеринга изображений, но оказались чрезвычайно эффективны для матричных вычислений, лежащих в основе обучения нейросетей — благодаря способности выполнять тысячи простых операций параллельно.
Обучение современной большой языковой модели требует одновременной работы сотен или тысяч GPU на протяжении недель или месяцев, соединённых высокоскоростными сетями для синхронизации вычислений между узлами кластера. Стоимость такой инфраструктуры — один из главных барьеров, ограничивающих число компаний в мире, способных обучать по-настоящему крупные модели с нуля.
Дефицит и высокая стоимость доступа к GPU-мощностям — одна из причин, почему многие компании предпочитают дообучать (файнтюнить) уже готовые базовые модели вместо обучения собственной модели с нуля, что требует на порядки меньше вычислительных ресурсов.