Токсичность модели

Коротко

• Токсичность модели — склонность генерировать оскорбительный, дискриминационный или иным образом вредоносный контент
• Измеряется специальными тестами с провокационными запросами, проверяющими границы допустимого поведения модели
• Снижается через фильтрацию обучающих данных, RLHF-дообучение и модерационные фильтры поверх ответов модели
• Полностью устранить риск токсичных ответов невозможно — задача сводится к минимизации частоты таких случаев

Определение

Токсичность модели — это метрика, отражающая, насколько часто и насколько сильно языковая модель склонна генерировать оскорбительные высказывания, дискриминационные суждения о группах людей, откровенно вредоносные инструкции или иной неприемлемый контент в ответ на обычные или намеренно провокационные запросы пользователя.

Поскольку модель обучается на огромном массиве текстов из интернета, включающих и токсичный контент, без специальных мер она способна воспроизводить подобные паттерны. Снижение токсичности достигается комбинацией методов: фильтрацией обучающих данных, дообучением на основе обратной связи от людей (RLHF), а также дополнительными модерационными фильтрами, проверяющими уже сгенерированный ответ перед показом пользователю.

На практике

Оценка токсичности — обязательный этап red teaming тестирования перед публичным релизом новой модели: специалисты намеренно пытаются спровоцировать модель на неприемлемые ответы, чтобы выявить и устранить уязвимости заранее.