Мультимодальная модель — это модель ИИ, спроектированная для работы более чем с одним типом данных (модальностью) одновременно: например, она может проанализировать фотографию и ответить на вопрос о ней текстом, или сгенерировать изображение по текстовому описанию, или обработать видео вместе со звуковой дорожкой.
Технически это достигается объединением разных типов данных в общее векторное пространство эмбеддингов, после чего единая архитектура (обычно трансформер) обрабатывает их совместно, устанавливая связи между, например, объектом на изображении и словом, которое его описывает.
Мультимодальные модели используются в задачах вроде анализа медицинских снимков вместе с текстовой историей болезни пациента, автоматической модерации контента (текст + изображение одновременно) и создания мультимедийного контента для маркетинга.