Валидация моделей кредитного риска

Этот skill автоматизирует полный процесс валидации моделей машинного обучения для оценки кредитного риска в банковской сфере.

Цель

Провести независимую валидацию модели кредитного риска, включая:

• Анализ качества и предобработки данных
• Оценку производительности модели на новых данных
• Проверку стабильности модели во времени
• Генерацию полного отчета о валидации
• Проверку соответствия регуляторным требованиям

Когда использовать

Используйте этот skill когда необходимо:

• Провести валидацию новой или обновленной модели кредитного риска
• Проверить модель на новых данных (не использованных при разработке)
• Сгенерировать отчет о валидации для регуляторов
• Провести код-ревью модели разработки
• Проверить стабильность существующей модели

Процесс валидации

1. Инициализация валидации

Начать с создания структуры проекта валидации с помощью скрипта init_validation_project.py. Скрипт создаст необходимые директории для данных, результатов и конфигурации.

2. Загрузка и проверка модели

Использовать скрипт load_and_inspect_model.py для безопасной загрузки pickle модели и извлечения метаданных. Скрипт проверяет тип модели, параметры, список признаков, версии библиотек и предупреждения о безопасности.

3. Анализ качества данных

Провести автоматический анализ предобработки данных с помощью data_quality_check.py. Проверки включают пропущенные значения, выбросы, распределения признаков, корректность типов данных, наличие необходимых признаков, дубликаты и дисбаланс целевой переменной.

4. Расчет метрик производительности

Рассчитать все ключевые метрики модели используя calculate_metrics.py:

• AUC-ROC (Area Under ROC Curve)
• Gini коэффициент (2*AUC - 1)
• KS статистика (Kolmogorov-Smirnov)
• Recall (Чувствительность, TPR)
• Precision (Точность)
• F1-score (Гармоническое среднее Precision и Recall)
• Accuracy (Общая точность)
• Specificity (Специфичность, TNR)
• Confusion Matrix (Матрица ошибок)

5. Анализ стабильности (PSI/CSI)

Проверить стабильность модели во времени с помощью stability_analysis.py. Анализ включает PSI для каждого признака (PSI < 0.1 стабильная популяция, 0.1 ≤ PSI < 0.25 умеренное изменение, PSI ≥ 0.25 значительное изменение), CSI для скоров модели, сравнение распределений признаков и временной анализ.

6. Бизнес-метрики

Рассчитать бизнес-метрики для разных порогов отсечения с помощью business_metrics.py:

• Approval Rate (процент одобрений) по порогам
• Bad Rate (процент дефолтов среди одобренных)
• Expected Loss (ожидаемые потери)
• Оптимальный порог (максимизация F1 или бизнес-метрики)

7. Визуализация результатов

Генерировать все необходимые графики с помощью generate_visualizations.py:

• ROC-кривая с AUC
• Precision-Recall кривая
• Confusion Matrix (тепловая карта)
• KS статистика график
• Распределение скоров (Good vs Bad)
• Калибровочная кривая
• Feature Importance (если доступно)
• PSI по признакам (bar chart)
• Lift Chart и Gain Chart

8. Код-ревью

Проанализировать код разработки модели (если доступен): проверить воспроизводимость (random seeds), валидировать split данных (train/test), проверить предобработку (pipelines), оценить качество кода (PEP8, документация), проверить версионирование зависимостей. Использовать references/code_review_checklist.md как гайд.

9. Соответствие регуляторным требованиям

Проверить модель по чеклисту регуляторных требований с помощью regulatory_compliance.py. Проверка включает требования Национального Банка Казахстана для моделей кредитного риска.

10. Генерация финального отчета

Автоматически сгенерировать полный отчет о валидации с помощью generate_validation_report.py. Структура отчета включает: Глоссарий, Абстракт, Методология валидации, Цель моделей, Разработка моделей, Объем валидационных данных, Результаты валидации моделей, Визуализация результатов, Confusion Matrix, PSI анализ, Интерпретация результатов, Код-ревью, Заключение и рекомендации, Соответствие регуляторным требованиям, Рекомендации.

Интерактивный режим

Для пошагового процесса с объяснениями использовать interactive_validation.py. Скрипт проведет через каждый этап, задаст вопросы о специфике модели, покажет промежуточные результаты, позволит корректировать параметры и сгенерирует отчет в конце.

Bundled Resources

Scripts (scripts/)

• init_validation_project.py - Инициализация проекта
• load_and_inspect_model.py - Загрузка pickle модели
• data_quality_check.py - Анализ качества данных
• calculate_metrics.py - Расчет метрик производительности
• stability_analysis.py - PSI/CSI анализ
• business_metrics.py - Бизнес-метрики
• generate_visualizations.py - Создание графиков
• regulatory_compliance.py - Проверка compliance
• generate_validation_report.py - Генерация отчета
• interactive_validation.py - Интерактивный режим
• utils/ - Вспомогательные утилиты

References (references/)

• validation_checklist.md - Полный чеклист валидации
• kz_regulator_checklist.md - Требования НБ РК
• metrics_guide.md - Подробное описание метрик
• code_review_checklist.md - Гайд по код-ревью
• interpretation_guide.md - Интерпретация результатов

Assets (assets/)

• report_template.docx - Шаблон отчета Word
• plots_styles.json - Стили для графиков
• glossary.yaml - Глоссарий терминов

Примеры использования

Пример 1: Быстрая валидация

Проведи валидацию модели PD_Retail_v2.pkl на данных validation_q4_2025.csv

Пример 2: Полная валидация с отчетом

Выполни полную валидацию модели согласно регуляторным требованиям НБ РК. Модель: models/pd_model.pkl, Данные: data/validation_2025_h1.csv. Нужен полный отчет на русском языке.

Пример 3: Анализ конкретной проблемы

Модель показывает низкий Gini на новых данных. Помоги найти причину - проверь PSI по признакам и stability.

Пример 4: Код-ревью

Проведи код-ревью разработки модели в файле model_development.py

Best Practices

1. Всегда сохраняйте исходные данные - не перезаписывайте raw данные
2. Используйте version control - храните config.yaml в git
3. Документируйте отклонения - если модель не прошла валидацию
4. Проверяйте воспроизводимость - результаты должны повторяться
5. Храните артефакты - все графики и метрики для аудита
6. Обновляйте чеклист - при изменении регуляторных требований

Ограничения

• Pickle модели должны быть безопасными (проверка перед загрузкой)
• Данные должны содержать все признаки, использованные при обучении
• Для PSI анализа нужны данные обучающей выборки
• Большие модели (>1GB) могут требовать дополнительной памяти