Токсичность модели — это метрика, отражающая, насколько часто и насколько сильно языковая модель склонна генерировать оскорбительные высказывания, дискриминационные суждения о группах людей, откровенно вредоносные инструкции или иной неприемлемый контент в ответ на обычные или намеренно провокационные запросы пользователя.
Поскольку модель обучается на огромном массиве текстов из интернета, включающих и токсичный контент, без специальных мер она способна воспроизводить подобные паттерны. Снижение токсичности достигается комбинацией методов: фильтрацией обучающих данных, дообучением на основе обратной связи от людей (RLHF), а также дополнительными модерационными фильтрами, проверяющими уже сгенерированный ответ перед показом пользователю.
Оценка токсичности — обязательный этап red teaming тестирования перед публичным релизом новой модели: специалисты намеренно пытаются спровоцировать модель на неприемлемые ответы, чтобы выявить и устранить уязвимости заранее.