Наука о данных - Брендан Тирни

Одна часть плана связана с тем, как набор данных используется для обучения и тестирования моделей. По сути, набор данных предназначен для двух разных целей. Первая состоит в том, чтобы выявить алгоритм, который генерирует лучшие модели. Вторая — оценить эффективность обобщения наилучшей модели, т. е. насколько хорошо она может справиться с новыми данными. Золотое правило оценки моделей заключается в том, что их никогда не следует тестировать на тех же данных, на которых они были обучены. Использование одних и тех же данных для моделей обучения и тестирования равносильно тому, чтобы показать ученикам экзаменационные вопросы за ночь до экзамена. Естественно, студенты сдадут его на «отлично», но их результаты не будут отражать реальное знание материала курса. То же самое относится и к моделям машинного обучения: если модель оценивается по тем же данным, на которых она обучалась, то оценка будет более оптимистичной по сравнению с реальной эффективностью модели. Стандартный процесс для обеспечения этого правила таков: данные разбиваются на три части — обучающий набор, оценочный набор и тестовый набор. Пропорции, используемые для этого разбиения, будут различаться в зависимости от проекта, но обычно они составляют 50:20:30 или 40:20:40. Размер набора данных является ключевым фактором для определения пропорций разбиения: как правило, чем больше весь набор данных, тем больше и тестовый набор. Учебный набор используется для обучения начальной группы моделей. Оценочный набор — для сравнения эффективности этих моделей на новых данных. Сравнение эффективности начальных моделей на оценочном наборе позволяет нам определить, какой алгоритм сгенерировал лучшую модель. После его выявления обучающий и оценочный наборы могут быть объединены в больший обучающий набор, и этот набор данных подается в лучший алгоритм для создания окончательной модели. Важно отметить, что тестовый набор не использовался ни во время процесса выбора наилучшего алгоритма, ни для обучения окончательной модели. По этой причине он может быть использован для оценки ее эффективности на новых данных.

Другим ключевым компонентом плана тестирования является выбор подходящих показателей для оценки. Обычно модели оцениваются на основе того, насколько часто их выходные данные соответствуют выходным данным из тестового набора. Если целевой атрибут является числовым значением, то одним из способов измерения точности модели на тестовом наборе будет сумма квадратов ошибок. Если целевой атрибут является номинальным или порядковым, то самый простой способ оценить точность модели — вычислить долю в тестовом наборе правильно полученных ею примеров. Однако в некоторых случаях важно включить анализ ошибок в процесс оценки. Например, если модель используется для медицинской диагностики, при диагностировании больного пациента как здорового последствия могут быть гораздо серьезнее, чем при обратной ошибке. Диагностика больного пациента как здорового может привести к тому, что пациента отправят домой без соответствующей медицинской помощи. Если же модель диагностирует здорового пациента как больного, то с большой вероятностью эта ошибка будет обнаружена в ходе последующего обследования, назначенного пациенту. Таким образом, при оценке производительности модели требуется придать одному типу ошибки больший вес, чем другому. После создания плана тестирования специалист по данным может начать обучение и оценку моделей.