Разработка модели бинарной классификации на малых данных с использованием методов машинного обучения

Сегодня решения задачи бинарной классификации с помощью машинного обучения находят себе применения в огромном количестве сфер жизни, таких как медицина, энергетика, маркетинг, сельское хозяйство, финансовая аналитика и др. Для компаний это отличная возможность получить новые источники прибыли, так и улучшить существующие процессы. Поэтому сейчас активно разрабатываются новые методы решения, улучшаются существующие, проводятся исследования на тему возможности применения машинного обучения при решении задачи классификации в различных областях. Исследование эффективности применения различных методов машинного обучения с учетом существующих проблем малых данных в решении задачи бинарной классификации весьма актуальна из-за значительного перевеса разработок в сторону Big Data. Для малых данных были определены возможные проблемы, которые влияют на эффективность обучаемой модели, предложены различные варианты по решению этих проблем. Для оценки влияния проблем малых данных на качество обученной модели был проведен сравнительный анализ метрик качества моделей, обученных на разных вариация обработки данных. Сделан вывод, что для корректной работы с малыми данными необходимо своевременно устранять такие дефекты данных как дисбаланс классов, выбросы и др. В ходе исследования выбраны наиболее значимые метрики качества для получения модели по анализу медицинских параметров. Проведен сравнительный анализ моделей определению диабета на предобработанных малых данных. Для рассматриваемой задачи лучшим вариантом для использования в медицинских целях была выбрана модель стэкинга. Результаты анализа показали, что машинное обучение способно показывать высокую эффективность при решении реальных задач бинарной классификации.