Динамические сети

Следующий класс нейронных сетей, который мы рассмотрим, — динамические, или рекуррентные, сети. Они построены из динамических нейронов, чье поведение описывается дифференциальными или разностными уравнениями, как правило, — первого порядка. Сеть организована так, что каждый нейрон получает входную информацию от других нейронов (возможно, и от себя самого) и из окружающей среды. Этот тип сетей имеет важное значение, так как с их помощью можно моделировать нелинейные динамические системы. Это — весьма общая модель, которую потенциально можно использовать в самых разных приложениях, например: ассоциативная память, нелинейная обработка сигналов, моделирование конечных автоматов, идентификация систем, задачи управления.

Нейронные сети с временной задержкой

Перед тем, как описать собственно динамические сети, рассмотрим, как сеть с прямой связью используется для обработки временных рядов. Метол состоит в том, чтобы разбить временной ряд на несколько отрезков и получить таким образом статический образец для подачи на вход многослойной сети с прямой связью. Это осуществляется с помощью так называемой разветвленной линии задержки, см. рис. 1.6.

Архитектура такой нейронной сети с временной задержкой позволяет моделировать любую конечную временную зависимость вида

Поскольку рекуррентные связи отсутствуют, такая сеть может быть обучена при помощи стандартного алгоритма обратного распространения ошибки или какого-то из его многочисленных вариантов. Сети такой конструкции успешно применялись в задачах распознавания речи, предсказания нелинейных временных рядов и нахождения закономерностей в хаосе.

Сети Хопфилда

С помощью рекуррентных сетей Хопфилда можно обрабатывать Неупорядоченные (рукописные буквы), упорядоченные по времени (временные ряды) или пространстве (графики, грамматики) образцы. Рекуррентная нейронная сеть простейшего вида была введена Хопфиллом;она построена из N нейронов, связанных каждый с каждым, причем все нейроны являются выходными.

Сети такой конструкции используются, главным образом, в качестве ассоциативной памяти, а также в задачах нелинейной фильтрации данных и грамматического вывода.

Содержание

Далее

Кроме этого, недавно они были применены для предсказания и для распознавания закономерностей в поведении цен акций.