Модальность в этом контексте — тип данных: текст, изображение, звук, видео. Мультимодальная модель обучена понимать несколько модальностей одновременно и связывать их между собой — например, посмотреть на фотографию чека, прочитать написанные на ней цифры и связать их со сказанным голосом вопросом «сколько я потратил на продукты в этом месяце».
До появления по-настоящему мультимодальных моделей похожий результат получали, соединяя отдельные специализированные модели — одну для распознавания изображений, другую для текста — через дополнительный код. Современные мультимодальные модели вроде GPT-4o, Gemini и российской GigaChat Vision обучены как единая система, что даёт более точное и естественное понимание связи между форматами, а не просто последовательную передачу результата от одной модели к другой.
Мультимодальность уже применяется в задачах вроде анализа скриншота с ошибкой в коде и голосового объяснения контекста, разбора видео с созвона для составления протокола с учётом как речи, так и демонстрируемых на экране материалов, распознавания рукописных заметок на фото с последующим ответом на вопрос по их содержанию.
Несмотря на впечатляющие возможности, мультимодальные модели пока могут ошибаться при связывании информации из разных источников — например, неверно сопоставить голосовой комментарий с конкретным объектом на изображении при сложной сцене с множеством деталей. Для задач с высокой ценой ошибки результат по-прежнему стоит проверять, а не полагаться на автоматическую интерпретацию слепо.