AI-инцидент — это задокументированный случай, когда система искусственного интеллекта привела к негативным последствиям: ошибочному решению с реальным ущербом, дискриминации определённой группы людей, утечке конфиденциальных данных, финансовым потерям или иному вреду, затронувшему людей или организации.
Систематическое отслеживание таких случаев в базах данных инцидентов (как международных, так и специализированных для российского рынка) позволяет исследователям и практикам выявлять повторяющиеся паттерны рисков — например, определённые типы задач или архитектур, чаще приводящие к сбоям, — и использовать эти уроки при проектировании новых ИИ-систем.
Изучение базы прошлых AI-инцидентов — полезная практика при проектировании новой ИИ-системы: многие риски (например, склонность модели к галлюцинациям в определённых сценариях) уже были задокументированы на похожих проектах ранее.