Первые нейросети умели работать только с одним типом данных — либо текстом, либо изображением. Мультимодальный ИИ умеет одновременно понимать и связывать разные форматы — текст, изображение, звук и видео — в рамках одного запроса, что заметно расширяет круг решаемых задач.
Модальность в этом контексте — тип данных: текст, изображение, звук, видео. Мультимодальная модель обучена понимать несколько модальностей одновременно и связывать их между собой — например, посмотреть на фотографию чека, прочитать написанные на ней цифры и связать их со сказанным голосом вопросом «сколько я потратил на продукты в этом месяце».
До появления по-настоящему мультимодальных моделей похожий результат получали, соединяя отдельные специализированные модели — одну для распознавания изображений, другую для текста — через дополнительный код. Современные мультимодальные модели вроде GPT-4o, Gemini и российской GigaChat Vision обучены как единая система, что даёт более точное и естественное понимание связи между форматами, а не просто последовательную передачу результата от одной модели к другой.
Мультимодальность уже применяется в задачах вроде анализа скриншота с ошибкой в коде и голосового объяснения контекста, разбора видео с созвона для составления протокола с учётом как речи, так и демонстрируемых на экране материалов, распознавания рукописных заметок на фото с последующим ответом на вопрос по их содержанию.
Несмотря на впечатляющие возможности, мультимодальные модели пока могут ошибаться при связывании информации из разных источников — например, неверно сопоставить голосовой комментарий с конкретным объектом на изображении при сложной сцене с множеством деталей. Для задач с высокой ценой ошибки результат по-прежнему стоит проверять, а не полагаться на автоматическую интерпретацию слепо.
Обычная языковая модель работает только с текстом, а мультимодальная понимает и связывает между собой несколько форматов данных — текст, изображение, звук, видео — в рамках одного запроса.
К известным мультимодальным моделям относятся GPT-4o, Google Gemini и российская GigaChat Vision — все они умеют работать с изображениями и текстом одновременно, а некоторые и с аудио.
Многие современные модели поддерживают анализ видео, хотя обычно с ограничением по длительности и требованиями к формату файла.
Точность высокая для простых сценариев, но при сложных сценах с множеством деталей возможны ошибки сопоставления — для критичных задач результат стоит проверять.
Для анализа скриншотов с пояснением голосом или текстом, разбора видео встреч с учётом визуального контента на экране, распознавания рукописных заметок с последующими вопросами по их содержанию.