Устройство нейронных сетей

Различные виды искусственных нейронов

Искусственным нейроном называется простой элемент, сначала вычисляющий взвешенную сумму V входных величин х1:

Здесь N — размерность пространства входных сигналов.

Затем полученная сумма сравнивается с пороговой величиной (или bias) W0, вслед за чем вступает в действие нелинейная функция активации f (ее можно также охарактеризовать как «решающую функцию»]. Коэффициенты Wi во взвешенной сумме (1) обычно называл синоптическими коэффициентами или весами. Саму же взвешешгую сумму V мы будем называть потенциалом нейрона i. Выходной сигнал тогда имеет вид /(V).

Величину порогового барьера можно рассматривать как еще один весовой коэффициент при постоянном входном сигнале. В этом случае мы говорим о расширенном входном пространстве нейрон с N-мерным входом имеет N + 1 весовой коэффициент. Если ввести в уравнение пороговую величину W0, оно перепишется так:

В зависимости от способа преобразовании сигнала и характера функции активации возникают различные виды нейронных структур. Мы будем рассматривать только детерминированные нейроны (в противоположность вероятностным нейронам, состояние которых в момент t есть случайная функция потенциала и состояния Я момент t-1). Далее, мы будем различать статические нейроны — такие, в которых сигнал передается без задержки, — и динамические, где учитывается возможность таких задержек («синапсы с запаздыванием»).

Различные виды функции активации

Функции активации f могут быть различных видов:

• линейная: выходной сигнал нейрона равен его потенциалу,
• ступенчатая: нейрон принимает решение, выбирая один из двух вариантов (активен/неактивен),
• линейная с насыщением: нейрон выдает значения, промежуточные между двумя предельными значениями А и В,
• многопороговая: выходной сигнал может принимать одно и» q значений, определяемых (q-1) порогом внутри предельных значений А и В,
• сигмоидная: рассматриваются два вида сигмоидных функций:

Коэффициент b определяет крутизну сигмоида. Поскольку сигмоидная функция является гладким отображением (-оо,«о) -К0,1)> крутизну b можно учесть через величины весов и порогов, и без ограничения общности можно полагать ее равной единице.

Возможно также определить нейроны без насыщения, принимающие на выходе непрерывное множество значений. В задачах классификации выходное значение может определяться порогом — при принятии единственного решения, — или быть вероятностным — при определении принадлежности к классу.

Содержание

Далее

Чтобы учесть особенности конкретной задачи, могут быть выбраны различные другие РИЛЫ функции активации — гауссова, синусоидальная, всплески (wavelets) и т.д.