Рекомендатор для алгоритмов классификации Pyspark.Ml

Abstract

Существует множество алгоритмов машинного обучения, которые могут использоваться для решения самых разнообразных бизнес-задач. Некоторые алгоритмы имеют хорошую точность, но используют много процессорного времени. Другие быстро выдают предсказания, но потребляют много памяти. Выбор подходящего алгоритма и библиотеки машинного обучения в начале проектирования приложения является трудоемкой задачей, а в некоторых сферах - очень дорогой.. В этой статье мы сравним некоторые алгоритмы двухклассовой классификации и опишем методику выбора подходящего алгоритма в зависимости от требований задачи. Алгоритмы классификации широко используются в таких сферах, как медицина, компьютерная безопасность, компьютерное зрение, кредитный скоринг. Мы рассмотрим результаты бенчмарк-тестов для нескольких алгоритмов классификации. Бенчмарк-тесты проводились для выборок с различным количеством объектов и признаков. На основе результатов тестов, характеризующих производительность и качество алгоритмов, были построены регрессионные модели. Мы также рассмотрим результаты рекомендатора, который дает возможность упростить процесс выбора алгоритма классификации. Рекомендатор использует предсказанные метрики регрессионных моделей во взвешенной сумме, коэффициенты которой определяются требованиями бизнес-задачи. Взвешенная сумма является оценкой алгоритма, алгоритм с наибольшей оценкой выбирается как самый подходящий алгоритм классификации.