|
Результаты для случая 5-мерной входной матрицы
Для значений целевой переменной (усредненного экспертного прогноза финансовых трудностей в ближайшие полгода) была выбрана следующая числовая запись:
Таким образом количественно выражается естественное отношение упорядоченности между тремя классами. Пять количественных показателей никаким преобразованиям не подвергались, поскольку их значения располагаются приблизительно от -2 до 2 и вполне могут быть поданы на вход сети в исходном виде. И у элементов скрытого слоя, и у выходного элемента функция преобразования была взята сигмоидной с единичной крутизной. Выходные значения разбивались на три категории, соответствующие предполагаемому ответу на основной вопрос:
Как это и бывает в действительности, в выборке представлены, главным образом, фирмы, которые, по мнению экспертов, должны выжить, и поэтому есть опасность, что сеть получит недостаточно информации, относящейся к потенциальным банкротам. Чтобы уравнять представительство обеих групп, во время обучения сети компании, испытывающие трудности (группа 2), подавались на вход чаще других. Никакой новой информации к базе данных не добавлялось, но уже такое корректирование приводит к правильному расположению гиперплоскостей в пространстве входов.
Из-за малого размера базы данных и неравномерного распределения образцов по группам не представляется возможным разбить случайным образом все данные на обучающее, подтверждающее и тестовое множества. Поэтому для получения достоверной оценки доли случаев неправильной классификации применялся метод «складного ножа»: из выборки по очереди выбрасывалось каждое наблюдение. Для оценки обобщающей способности классификатора применялся 59-кратный метод перекрестного подтверждения. Окончательная оценка (так называемая «leave-one-out cross-validation error») вычислялась путем суммирования ошибок, полученных при выбрасывании отдельных наблюдений. В данном случае мы получаем 59 сетей, обученных на 58 наблюдениях каждая. Прием повторного использования наблюдений, несмотря на вычислительные затраты, хорош тем, что позволяет максимально использовать имеющуюся информацию, - важное качество, когда число наблюдений невелико.
Данные о количестве правильных и неправильных классификаций для 5-2-1 сети, которая имела наименьшую общую ошибку (39%), приведены в табл. 8.4.
Все члены 2-й группы (высокий кредитный риск) и 1-й группы (пограничные случаи) были классифицированы неправильно. Конкретно, двое "банкротов" получили кредиты, а трем "жизнеспособным" было отказано. Общий результат довольно плох, однако нужно отметить, что правильная классификация члена 2-й группы, пропущенного при обучении, представляет собой непростую задачу, поскольку остается всего два наблюдения для идентификации класса «банкротов».
Все 59 обучающих множеств подавались на вход 4000 раз (с начальным состоянием датчика случайных чисел, равным 2). Результаты приведены вместе с соответствующими доверительными интервалами, потому что на компьютере Convex перекрестное подтверждение производилось с автоматически фиксированными начальными весами. При различных инициализациях могут получаться разные результаты, и таким образом можно обходить локальные минимумы. Уже первые эксперименты показали, что окончательный ответ очень чувствителен к изменениям установки начальных значений. Чтобы получить более надежные результаты, при обучении нужно выполнить несколько прогонов на 59-элементном множестве и затем оставить только те из них, которые соответствуют наилучшим индивидуальным результатам обучения (наименьшей среднеквадратичной ошибке на обучающем множестве).
Кроме того, мы брали сети с разным числом скрытых элементов (от одного до шести) и обучали их на всем обучающем множестве (метод повторной подстановки). Как и следовало ожидать, с увеличением сложности сети (числа весов) ошибка классификации уменьшалась, а для сети с шестью скрытыми элементами, вообще, оказалась равной нулю (полное обучение). Однако результаты Перекрестного подтверждения не внушают доверия к надежности такого метода. Анализ результатов для модели 5-2-1 будет проведен ниже.
А сейчас мы хотим привести матрицы ошибок классификации для 5-2-1 модели и для MDA-метода (см. табл. 8.6).
Выбранная конфигурация сети дает приблизительно 80-процентную точность классификации — вдвое лучше, чем MDA. Это говорит об отличной способности сети к обобщению (вспомните, что наилучшие результаты сеть показала при перекрестном подтверждении). Особенно важно, что все три «промаха» были поняты. Таким образом, ошибки 1-го рода сведены к нулю. Следует помнить, что минимизация этих ошибок имеет смысл только при том условии, что не становятся слишком большими ошибки 2-го рода. Действительно, когда выборка состоит преимущественно из «жизнеспособных» компаний, даже малое количество ошибок 2-го рода сильно скажется на общей ошибке. По этому показателю сеть также опережает MDA.
Убедившись в высоком качестве работы сети, мы, обратились к исследованию поведения отдельных переменных. К сожалению, в данном случае каждая степень свободы отвечает за несколько переменных (это относится и к MDA), и роль каждой из них в отдельности с трудом поддается изучению.
Поэтому мы заново обучили сеть на исходных, большей частью качественных, данных.
|
