Индексы PSI и CSI — лучшие метрики для мониторинга работы модели / Хабр
Представляем вам перевод статьи, опубликованной в блоге towardsdatascience.com.Ее автор, Juhi Ramzai, рассказала об эффективных методах проверки моделей — PSI (индексе стабильности популяции) и CSI (индексе стабильности характеристик).Изображение предоставлено автором
После выпуска модели в продакшен необходимо проводить регулярный мониторинг ее работы, чтобы убедиться, что модель все еще актуальна и надежна. Ранее я писала пост о валидации модели и мониторинге ее работы, в котором подчеркивала важность этих двух этапов.
А теперь перейдем к основной теме данного поста. Мы узнаем все о PSI (индексе стабильности популяции) и CSI (индексе стабильности характеристик), которые являются одними из самых важных стратегий мониторинга, используемых во многих областях, особенно в сфере оценки кредитных рисков.
Обе эти метрики (и PSI, и CSI) сосредоточены на изменениях в РАСПРЕДЕЛЕНИИ ПОПУЛЯЦИИ.
Основная идея этих метрик заключается в том, что модель прогнозирования лучше всего работает, если данные, использованные для ее обучения, не слишком отличаются от валидационных / OOT (out of time) данных в плане экономических условий, основополагающих допущений, стиля ведения кампании, направленности и т. д.
Например, мы разработали модель прогнозирования показателей оттока пользователей кредитных карт в условиях нормальной экономической ситуации. Затем мы приступили к тестированию этой модели, но уже в условиях экономического кризиса. Вполне возможно, что в этом случае модель не выдаст точный прогноз, поскольку не сможет уловить тот факт, что в разных сегментах дохода распределение популяции могло значительно измениться (и это могло привести к высокому фактическому уровню оттока пользователей). В результате мы получим ошибочные предсказания. Но так как сейчас мы это уже понимаем, то можем перейти к проверке изменений распределения популяции между временем разработки (DEV time) и настоящим временем.
Индекс стабильности популяции (PSI)
Эта метрика позволяет измерить то, насколько переменная изменилась в распределении между двумя выборками с течением времени. Она широко используется для мониторинга изменений характеристик популяции и диагностики возможных проблем с эффективностью модели. Если модель перестала делать точные прогнозы из-за значительных изменений в распределении популяции, то часто это является хорошим показателем.Приведенное выше определение как нельзя лучше объяснено в данной исследовательской работе. Я также привела ссылку на него в конце этого поста.
Изначально индекс стабильности популяции (PSI) был разработан для мониторинга изменений в распределении между внеплановыми выборками (ООТ) и выборками периода времени разработки при оценке кредитных рисков. В настоящее время использование индекса PSI стало более гибким по своей природе, что позволяет исследовать изменения как распределений, связанных с атрибутами модели, так и популяций в целом, включая зависимые и
Мы рассмотрим это в следующем разделе.Индекс PSI отражает тенденцию к изменению популяции в целом, в то время как индекс CSI обычно сосредоточен на используемых индивидуальных переменных модели.
Источник
Изменение в распределении популяции может быть связано:
- с изменениями в экономической среде, такими как экономический кризис, COVID-19 и т. д.;
- изменениями в источниках данных;
- изменениями во внутренней политике, которые прямо или косвенно влияют на распределение популяции;
- проблемами с интеграцией данных, которые могут привести к ошибкам в данных;
- проблемами при программировании/кодировании, такими как реализация модели или пропуск некоторых важных этапов в коде оценки качества работы модели.
ШАГИ ДЛЯ РАСЧЕТА ИНДЕКСА PSI (Ссылка)
- Сортируем оцениваемую переменную по убыванию в оцениваемой выборке.
- Разделяем данные на 10 или 20 групп (дециль).
- Рассчитываем процент записей в каждой группе на основании оцениваемой выборки.
- Рассчитываем процент записей в каждой группе на основании выборки разработки.
- Рассчитываем разницу между шагами 3 и 4.
- Берем натуральный логарифм (Шаг 3 / Шаг 4).
- Умножаем шаг 5 на шаг 6.
Изображение предоставлено автором
ПРАВИЛА ТОЛКОВАНИЯ (Ссылка)
- Индекс PSI < 0,1 — без изменений. Вы можете продолжить использование существующей модели.
- Индекс PSI >= 0,1, но меньше 0,2 — требуются небольшие изменения.
- PSI >= 0,2 — требуются значительные изменения. В идеале модель больше не должна использоваться. Ее следует обучить заново / заменить другой.
Теперь, исходя из варианта использования, эти пороговые значения корректируются в соответствии с актуальностью для бизнеса, но идея остается прежней — следить за изменениями в популяции.
Индекс стабильности характеристик (CSI)
Эта характеристика отвечает на вопрос, какая именно переменная вызывает изменения в распределении популяции. Она сравнивает распределение независимой переменной в наборе оцениваемых данных с набором данных с этапа разработки, а также обнаруживает изменения в распределении входных переменных, которые оцениваются с течением времени.
Это помогает определить, какая изменяющаяся переменная в основном вызывает изменение метрик качества модели.
Когда эффективность модели ухудшается, проверка изменений в распределении переменных модели может помочь выявить возможные причины этого. Как правило, это делается после проверки, в результате которой выяснилось, что индекс PSI не находится в зеленой зоне (< 0,1 в целом). Таким образом можно проверить, какие переменные в основном задают распределение популяции.
Если хотя бы одна переменная значительно изменилась или если показатели нескольких переменных немного изменились, возможно, пришло время обучить модель заново или заменить ее другой.
При вычислении индекса CSI предпринимаются те же действия, что и при вычислении индекса PSI. Разница лишь в том, что решение принимается на основе значений выборки с этапа разработки для конкретной переменной (путем разбиения их на диапазоны и установки пределов этих значений в качестве пороговых значений).
Затем при вычислении значений частот для любой валидационной / внеплановой (ООТ) выборки просто применяются те же пороговые значения к данным и вычисляются значения частоты (при помощи той же формулы, которую мы использовали при вычислении индекса PSI).
ТАБЛИЦА EXCEL ИНДЕКСА CSI
Изображение предоставлено автором
Таким образом, индекс PSI может помочь определить расхождения в распределениях популяций в целом, если они значительны, а индекс CSI может помочь еще больше сузить их до нескольких ответственных за это переменных.
Ссылка на исследование
Пси-тест online — Stop-Stress
Все кто пострадал от рук псевдоучителей, экстрасенсов, магов, колдунов, ведьм, целителей всех мастей, темных сил, сглаза, проклятий и прочих негативных воздействий — этот проект специально создан для Вас! Осознайте, что солнце светит всем одинаково и все в Ваших руках! Добро пожаловать в мир Любви!
САМОЕ ГЛАВНОЕ в жизни – начать все с начала!Мощь нашего подсознания творит чудеса!Мы все неосознанно стремимся к гармонии, любви и счастью!И так же неосознанно рушим свои мечты, семьи, жизни!Почему с нами такое происходит и возможно ли вырваться из порочного круга нескончаемого потока унылых дней, серости, травм и безысходности? Ведь «Солнце светит всем одинаково» Или не так? Все так.
Но для начала задумайтесь «куда уходят наши сила, энергия, благополучие, а также кто, почему и как нами управляет.
«Лярвоведение». Начальный курс
Старые душевные травмы и обиды, застарелые страхи, оставшиеся рубцы, «родовая память» — с которыми мы мучаемся изо дня в день. Освобождение от этого груза плюс «Алгоритм счастливой жизни» дает поистине волшебный эффект!
Подписаться на наш канал и получить в ПОДАРОК20-минутное экспресс-тестирование «ПСИ-тест online»
своего психо — эмоционального состояния и
«ДОРОЖНУЮ КАРТУ» движения на «зеленый свет»МЕДИТАЦИЮ «Подключение к Животворящему «Потоку Единого»
Без страха и агрессии, без боли и обид, в самодостаточности ДОСТАТКЕ и гармонии, в любви ПРОЦВЕТАНИИ и изобилии!
Наш опыт (нейровизуализации, нейропластичности, эпигенетики и психонейроиммунологии) основанный на принципах взаимодействия СОЗНАНИЯ и МАТЕРИИ, применяемый не только к физическому здоровью, но и к любому аспекту нашей жизни, поможет Вам омолодить МОЗГ и ТЕЛО, изменить свое сознание, забыть про беды — печали и радикально изменить всю свою жизнь!
Всю полученную от нас информацию Вы сможете сразу же начинать применять на практике, избавляясь от предубеждений, в рамки которых вы привыкли загонять реальность, изумленно наблюдая плоды своих усилий!
Чтобы пройти экспресс-тестирование состояние психики или физического тела у наших психологов, телесно-ориентированных терапевтов необходимо записаться по м.
+7 (977) 4369517. Пройти процедуру можно по адресу: Подольск, ул. Февральска 54, Лаборатория Жизни «Виталис» (вывеска «Персона»)
Художественный Фильм «Наш Очаг» поможет Вам понять лучше почему это так важно для Вас!
(Если скачать фильм на странице не удается, то просто наберите его в интернете и посмотрите с любого ресурса, занимающегося демонстрацией художественных фильмов по ключевым словам «Наш очаг»)
Для всех, кто хочет постоянно быть с нами на связи и получать от нас новую информацию (курсы, тренинги, различные техники) рекомендуем внести свои данные в форме слева
Разработка тестов, мультимодальная доставка и безопасность
перейти к содержаниюLorem ipsum dolor sit amet, consectetur adipiscing elit. Ut elit tellus, luctus nec ullamcorper mattis, pulvinar dapibus leo.
Узнать больше
Мечты.
лучший тестовый день
лучший партнер по тестированию
PSI
Наука, техника и опыт
Мы заботимся о вашей организации, ваших программах тестирования и ваших тестируемых. Наша неизменная ориентация на тестируемых начинается с тщательной разработки экзаменов и продолжается за счет гибкой доставки тестов и надежной безопасности тестов.
Экспертный дизайн, тщательная разработка и психометрия мирового уровня. Для тестов, которые являются надежными, точными и справедливыми.
Тестовая доставка
Инновационное тестирование через глобальные центры тестирования под наблюдением, дистанционное тестирование, онлайн-решения для контроля и мультимодальное тестирование.
Опыт тестировщика
От разработки тестов до поддержки в день тестирования и всего, что между ними. Мы концентрируем все наши усилия на тестируемом.
Проверка безопасности
Защитите целостность с помощью безопасного тестирования.
Благодаря доказанной науке, передовым технологиям и многолетнему опыту.
Развивайте свои программы
Экспертиза, инновационные подходы и прорывные технологии. Развивайте свои программы с помощью эффективных стратегий и инструментов.
Партнер по тестированию, предоставляющий
Товарищество
Никто лучше вас не знает ваш бизнес и ваших тестируемых. Вот почему мы слушаем, сотрудничаем и доставляем.
Опыт тестируемого
Превосходит ожидания. Предоставление исключительного опыта лежит в основе всего, что мы делаем.
Адаптивность
Мы мыслим творчески и предлагаем гибкость для удовлетворения ваших индивидуальных потребностей. Работать с нами.
Отдел обслуживания клиентов
Ответственность и отличный сервис. Для вас и ваших тестируемых.
Точность
Важно то, что вы делаете. Мы фокусируемся на том, что необходимо для проведения честного и точного теста.
Легкость
Безотказное испытание на отсутствие трения. Защитите свою репутацию и уменьшите давление на команду.
Истории успеха
«Я хотел бы подчеркнуть, что PSI неизменно стремилась уложиться в сроки, несмотря на множество проблем, связанных с пандемией. Впечатляет, насколько они были преданы делу, чтобы довести проект до конца и выполнить работу в период непредвиденных препятствий».
Джефф Обойски
Помощник комиссара по лицензированию Департамента недвижимости штата Калифорния
«Этот [экзамен по гибридному страхованию] является революционным для страховой отрасли как с точки зрения регулирования, так и с точки зрения онлайн-прокторинга PSI».
Jeff Baughman
Руководитель программы лицензирования и контроля производителей, OIC штата Вашингтон
«Мы быстро растем, и партнерство с PSI позволило нам это сделать.»
Грант Олдрич
Генеральный директор и основатель OnlineDegree.
com«Нам нужен был партнер, который мог бы сдавать экзамены в любом месте и в любое время без необходимости посещения физического экзаменационного центра. Единственным недостатком на рынке был «доступ», и PSI стремилась проводить экзамены в режиме реального времени в режиме онлайн».
Клайд Сиперсад
Генеральный менеджер по обучению и сертификации, The Linux Foundation
«Это постоянное партнерство с PSI, которое будет развиваться и совершенствоваться по мере того, как каждый из нас узнает больше о своих соответствующих рынках и наборах навыков. ученик, независимо от его возраста, в центре наших планов».
Хелен Коулман
Главный операционный директор, ABRSM
«Мне очень понравилось работать с PSI. Они были очень отзывчивым партнером, всегда работали над улучшением качества обслуживания клиентов, внедряя инновации на каждом этапе. Я по-прежнему впечатлен тем, насколько они реагируют на потребности клиентов».
«PSI всегда готова поступать правильно. Это дает мне необходимую уверенность в том, что они действительно понимают, что мы как организация пытаемся делать, и как мы хотим, чтобы наши кандидаты чувствовали себя».
Кристен Томас
Менеджер по сертификации, AACN
«Я думаю, что PSI будет в авангарде новых технологий. Поскольку индустрия тестирования изменилась за последние 30 лет, если вы не будете в авангарде, вы не выживете».
Лори Тинклер
Главный исполнительный директор, NBRC
«PSI помогла нам разработать способ тестирования на уровне кампуса, и с 2010 года это действительно помогло нам построить наш бизнес».
Бен Прайс
Генеральный директор Национального совета по хирургическим технологиям и хирургической помощи
Тесты на знание английского языка для работы, учебы и проживания
- Навыки для тестов по английскому языку одобрены Министерством внутренних дел для подачи заявлений на получение визы в Великобританию и широко приняты образовательными учреждениями для академического приема.
Будущее начинается здесь
- Первый шаг к получению аттестата об эквивалентности средней школы, признаваемого каждым штатом, территорией и юрисдикцией США.
Центр знаний
Блог
Блог
Блог
Истории клиентов
Блог
Блог
Сотрудничайте с нами
Какими бы ни были ваши потребности в тестировании, наша дружная и опытная команда готова предоставить рекомендации и ответить на ваши вопросы.
Центр знаний
Являетесь ли вы участником тестирования или спонсором тестирования, найдите ответы на свои вопросы.
Подпишитесь на нашу рассылку, чтобы быть в курсе последних новостей.
© 2023 PSI Services LLC. Все права защищены.
Подписывайтесь на нас
Твиттер Linkedin-inУчастники тестирования
Спонсоры тестирования
- HiSET®
- Навыки английского™
ВАШ СЕКТОР
ПОСЛЕДНИЕ НОВОСТИ
Блог
Ресурсы
Пресс-релиз
Практический пример
Центр знаний
Поддержка специалистов и ресурсы для подготовки к тесту PSI
перейти к содержанию Lorem ipsum dolor sit amet, consectetur adipiscing elit.
Ut elit tellus, luctus nec ullamcorper mattis, pulvinar dapibus leo.
Узнать больше
Прохождение компьютерного теста PSI (CBT)? Найдите свой тест PSI и подготовьтесь здесь, чтобы ваш тестовый день прошел гладко. Наши специалисты по поддержке конкретных программ всегда готовы ответить на любые ваши вопросы.
Найдите тест PSI
Используйте нашу простую функцию поиска, чтобы найти свой тест/экзамен. Получите доступ к руководствам для сдающих тест и самую последнюю информацию об услугах тестирования, местах, сборах и вариантах бронирования для выбранного вами теста.
Загрузка…
Сортировать по
От А до ЯОт Я до А
Академия интегративного обезболивания (AIPM): Экзамен Advanced Credentialed Pain Practitioner (ACPP)
ACT International
Act Web Real Estate School Inc
Сертификационный центр AHA: Экзамен сертифицированного медицинского конструктора (CHC)
Центр сертификации AHA: Сертифицированный специалист по охране окружающей среды в здравоохранении (CHESP)
Сертификационный центр AHA: Экзамен сертифицированного менеджера медицинского учреждения (CHFM)
Сертификационный центр AHA: Сертифицирован в области экзамена по кадрам в сфере здравоохранения (CHHR)
Центр сертификации AHA: Сертифицированный профессиональный экзамен по материалам и ресурсам (CMRP)
Сертификационный центр AHA: Сертифицированный специалист по экзамену по управлению рисками в здравоохранении (CPHRM)
AL Департамент природопользования: Alabama Collection — экзамен I-C
AL Департамент экологического менеджмента: Очистка сточных вод штата Алабама — Экзамен I степени
AL Департамент экологического менеджмента: Очистка сточных вод Алабамы — экзамен 9 класса II0182
AL Департамент экологического менеджмента: Очистка сточных вод Алабамы — экзамен III степени
AL Департамент экологического менеджмента: Очистка сточных вод штата Алабама — экзамен IV степени
AL Департамент природопользования: Водоочистка Алабамы — экзамен I степени
AL Департамент экологического менеджмента: Водоочистка Алабамы — Экзамен II степени
Получить поддержку специалистов по тестированию PSI
Чтобы предоставить вам наилучшую поддержку в кратчайшие сроки, у нас есть команда специалистов по поддержке конкретных программ, готовых помочь вам.
Ваши мечты стоят затраченных усилий
Вы много работали, готовясь к экзамену. Выполнив несколько простых шагов по подготовке, вы сможете сиять в этот день. Получите доступ ко всем тестовым ресурсам PSI, которые вам нужны, чтобы ваш тестовый день прошел максимально без стресса.
Онлайн-гайды по прокторингу
Системные Требования
Советы кандидатам и часто задаваемые вопросы
Реализуйте свой потенциал с помощью правильных инструментов поддержки
Покупайте в интернет-магазине PSI товары для подготовки к экзаменам, которые помогут вам обрести уверенность и полностью раскрыть свой потенциал в день экзамена.
Что говорят наши тестируемые
«Спасибо PSI за вашу помощь. Я очень ценю ваше время и такие знания о том, что вы делаете».
«Представитель PSI, который помог мне, был очень любезен и вежлив, особенно в такое раннее утро. Они очень помогли решить мою проблему, чтобы я мог зарегистрироваться для прохождения теста.
Я очень благодарен и особенно за их позитивное отношение — это действительно имеет большое значение».
«Спасибо PSI за фактическое обслуживание клиентов, решение моей проблемы и заботу о клиенте!»
«Представитель службы поддержки PSI решил мою проблему за считанные минуты! Они проявили понимание, усердно решили проблему и показали, что действительно заботятся обо мне».
Мечты, подобные вашим, заслуживают строгости
Мы понимаем, что вы не просто проходите тест. Вы преследуете мечту. Тот, ради которого, по вашему мнению, стоит работать.
Мы тоже в это верим. Вот почему мы неустанно работаем над тем, чтобы научная точность, новейшие технологии и операционный опыт были на стороне вашей мечты.
Мы здесь, чтобы помочь
Что бы вам ни понадобилось в тестировании, наша дружная и опытная команда всегда готова предоставить рекомендации и ответить на ваши вопросы.
Центр знаний
Являетесь ли вы участником тестирования или спонсором тестирования, найдите ответы на свои вопросы.
