Направление в ИИ, нацеленное на то, чтобы решения модели были понятны и обоснованы для человека, а не оставались «чёрным ящиком».
Объяснимый ИИ (explainable AI, XAI) — это направление исследований и практик, нацеленное на то, чтобы решения, принимаемые ИИ-моделью, можно было понятно и обоснованно объяснить человеку — почему модель выдала именно такой ответ, отказ или прогноз, а не другой.
Проблема, которую решает XAI, известна как «чёрный ящик»: современные модели, особенно глубокие нейросети, состоят из миллионов и миллиардов параметров, взаимодействие которых слишком сложно, чтобы напрямую интерпретировать, почему получен тот или иной результат. Методы XAI — выделение значимых входных признаков, построение упрощённых интерпретируемых моделей-заменителей, визуализация механизма внимания — пытаются дать понятное объяснение, не открывая при этом «капот» всей модели целиком.
В финансовой сфере, где регуляторы требуют обосновывать решения об отказе в кредите, использование XAI-методов помогает банкам показать, какие именно факторы повлияли на решение модели, — это требование становится всё более распространённым и в российском регулировании ИИ в чувствительных отраслях.
Точность и объяснимость — разные качества. В чувствительных областях (кредитование, медицина, право) заказчику и регулятору важно не только получить верный ответ, но и понять, почему модель приняла именно такое решение.
Нет, часто существует компромисс между сложностью (и точностью) модели и степенью её интерпретируемости — простые модели легче объяснить, но они не всегда так же точны, как сложные глубокие сети.
Да, требования к объяснимости решений ИИ-моделей всё чаще закрепляются в отраслевых регуляциях — особенно там, где решение модели напрямую влияет на права и интересы человека.