Zero-shot / few-shot

Коротко

• Zero-shot — модель решает задачу без единого примера, только по текстовому описанию задачи
• Few-shot — в промпт добавляют несколько примеров желаемого формата ответа перед реальным вопросом
• Оба подхода не требуют дообучения (файнтюнинга) модели — только правильную формулировку промпта
• Способность к zero/few-shot обучению — одна из ключевых характеристик, отличающих крупные LLM от более ранних моделей

Определение

Zero-shot и few-shot — это два подхода к тому, как ставить задачу перед языковой моделью без отдельного дообучения. В zero-shot режиме модель получает только описание задачи («переведи это предложение на английский») и должна справиться, опираясь исключительно на знания, усвоенные во время обучения.

В few-shot режиме перед реальным запросом в промпт добавляют несколько примеров желаемого формата ответа — это помогает модели точнее понять, что именно от неё требуется, особенно для нестандартных или специфичных задач, не имеющих однозначной общепринятой формулировки. Способность крупных LLM хорошо справляться с обоими режимами без дополнительного обучения — одно из ключевых свойств, появившихся вместе с ростом масштаба моделей.

На практике

На практике few-shot prompting часто даёт заметный прирост точности по сравнению с zero-shot для нестандартных задач с конкретным желаемым форматом ответа, ценой немного большей длины промпта и, соответственно, стоимости запроса.