До сих пор в наших экспериментах рассматривались только задачи с одним входным переменным р,_,. Теперь мы обратимся к проблеме, которая аналогична только что рассмотренному одномерному логистическому отображению, но, в отличие от него, имеет двумерный вход. Впервые эта модель была рассмотрена Хеноном и получила название отображения Хенона. Уравнения модели таковы:
Как х,, так и yt зависят от предыдущих значений х, , и уг_,, и это делает систему динамической. Из-за квадратичного члена в первом уравнении система является нелинейной. Если мы возьмем произвольные начальные значения и сгенерируем по этим уравнениям ряд значений для х, и у,, то окажется, что их значения беспорядочно и внешне случайно располагаются, соответственно, в интервалах от -0,4 до 0.4 и от -1.4 до 1.4. Так же, как и в рассмотренном ранее случае логистического отображения рис. 3.4, эти значения не сходятся к какому-либо положению равновесия и не совершают периодических колебаний. Таким образом, мы имеем дело с системой, обладающей странным аттрактором Понятно, что с помощью традиционных статистических методов нам вряд ли удастся выявить структуру модели, поскольку и х, и у ведут себя беспорядочно (см. [214, с 152]).
|
Целью эксперимента должен быть прогноз значения Х( по *,_, и у,.,. Сначала давайте сделаем вид, что мы вообще ничего не знаем о существовании какой-то модели, описывающей ряд х,, а знаем только (со слов «эксперта»), что здесь играет роль предыдущее значение *,_,, а также еще некоторый показатель у, ,. Естественно начать с линейной регрессии. Чтобы в дальнейшем было удобнее сравнивать регрессию и сеть, промасштабируем значения х и у так, чтобы они лежали на отрезке [0,1]. Полученный в результате ряд для х, показан на рис. 3.11.
Чтобы получить исходный материал для последующих экспериментов с нейронными сетями, мы сначала выполнили линейную регрессию на первых 153 членах временного ряда. Результаты регрессии для х, представлены в табл. 3.2. Коэффициенты регрессии, в том числе сдвиг, существенно отличны от нуля на 95-процентном уровне. Уточненный R* равен 0.11.
Для проверки регрессионной модели мы сформировали прогноз для последних 153 записей в нашей базе данных. Квадратный корень из среднеквадратичной ошибки прогноза регрессионной модели был равен 0.2112. После этого мы обучили 2-2-1 MBPN-сеть на первых 153 совокупностях двух входных и целевой переменных, а вторые 153 записи использовали как подтверждающее множество Коэффициент обучения, по-прежнему, брался равным 0.9. Обучение прекращалось, если в течение 100 эпох подряд среднеквадратичная ошибка оставалась очень низкой. После этого прогноз был сделан также для 153 образцов.
На рис. 3.12 показаны диаграммы распределения значений х (фазовый портрет) по отношению к значениям у на предыдущем шаге для истинного отображения Хенона, линейной регрессии и MBPN-сети. Квадратный корень среднеквадратичной ошибки нейронной сети на образцах, не входивших в обучающее множество, составил 0.0281. что существенно ниже, чем соответствующая ошибка регрессии 0.2112. Представляется, что, в отличие от регрессии, сеть довольно хорошо уловила сложную структуру фазового портрета. Это отчетливо видно на рис. 3.12. Хорошие показатели сети станут еще виднее, если мы вычислим истинное и прогнозируемое сетью относительные изменения (R) величины у за один шаг. На рис. 3.13 изображено совместное распределение этих двух величин.
Близкое прилегание к прямой, идущей под углом 45е, — очень хороший результат. Для крайних низких и высоких значений сохраняется расхождение, но за счет более длительного обучения и более тщательного выбора архитектуры и параметров сети можно добиться более точной аппроксимации сигмоидальной формы незашумленного процесса (обратите внимание, что «крайних» положительных значений больше). Веса обученной сети показаны на рис. 3.14.
Левый нижний входной узел соответствует х, а правый нижний — у. Отдельно указаны веса двух скрытых и выходного элемента.
Последний эксперимент с сетью, который мы опишем в этой главе, относится к ряду Хенона с шумом. Мы видоизменили модель следующим образом:
Случайная составляющая с, бралась равномерно распределенной на интервале от -0.1 до 0.1. Таким образом, изменение цены у, наполовину определяется величиной 0.3х, ,, отражающей связь с предыдущим моментом, а наполовину — случайной величиной. Исходя из произвольно взятых начальных значений х,_, и у, ,, мы вычислили 306 последовательных значений. Все значения переменных были перемасштабированы так, чтобы они лежали в интервале от 0 до 1. Первые 153 набора использовались для оценки по регрессионной модели и для обучения нейронной сети, в другие 153 остались для тестирования. Наша задача, по-прежнему, состояла в прогнозировании ряда х, по значениям х,, и у,.,.
В табл. 3.3 представлены результаты, касающиеся регрессии. Коэффициент при у, очень близок к нулю при 95-процентиом доверительном уровне, в то время как сдвиг и коэффициент при х,_, существенно отличны от нуля. Уточненный R2 равен 0.39. Затем с помощью этой модели был сделан прогноз на 153 шага, при этом квадратный корень из среднеквадратичной ошибки оказался равным 0.1796. Из рассмотрения рис. 3.15 становится ясно, что природа этой ошибки — та же, что была на фазовом портрете рис. 3.12: регрессия не ухватывает существо динамической модели. Очевидно, ошибка метода регрессии недопустимо велика.
Применяя к тому же набору данных нейронно-сетевую модель, мы обучали 2-2 1 MBPN-сеть, имеющую те же параметры, что и в случае задачи Хенона без шума. Проделав обучение из 100 эпох на первой половине данных, мы сделали прогноз относительно другой половины. Чтобы сравнить результаты для сети и регрессии, мы также изобразили на диаграмме (рис. 3.16) совместное распределение прогноза сети и квадратичной ошибки прогноза.
В отличие от регрессионной модели, прогноз сети почти не имеет искажений. Соответственно, и RMSE сетевого прогноза (0.0225) значительно меньше, чем у регрессии (0.1796).
Можно сделать шлюп, что даже в присутствии шума сеть способна распознавать структуру процесса и выдавать надежный прогноз.
|