Критерии ошибок

Целью процедуры минимизации является отыскание глобального минимума — достижение его называется сходимостью процесса обучения. Поскольку невязка зависит от весов нелинейно, получить решение в аналитической форме невозможно, и поиск глобального минимума осуществляется посредством итерационного процесса — так называемого обучающего алгоритма, который исследует поверхность невязки и стремится обнаружить на ней точку глобального минимума. Иногда такой алгоритм сравнивают с кенгуру, который хочет попасть на вершину Эвереста, прыгая случайным образом в разные стороны. Разработано уже более сотни разных обучающих алгоритмов, отличающихся друг от друга стратегией оптимизации и критерием ошибок.

Коль скоро обучение основывается на минимизации значения некоторой функции (показывающей, насколько результат, который выдает сеть на данном обучающем множестве, далек от образцового значения), нужно, прежде всего, выбрать меру ошибки, соответствующую сути задачи. Удачный выбор меры погрешности обычно приводит к более гладкой поверхности невязки и упрощает задачу обучения. Обычно в качестве меры погрешности берется средняя квадратичная ошибка (MSE), которая определяется как сумма квадратов разностей между желаемой величиной выхода dt и реально подученными на сети значениями у, для каждого примера к:

Здесь Р — число примеров в обучающем множестве.

Наряду с такой мерой погрешности широко используется рас стояние Кульбака-Лейблера, связанное с критерием максимума правдоподобия.

а также некоторые другие.

Минимизация величины Е осуществляется с помощью градиентых методов. В первом из них берется градиент общей ошибки, и веса W пересчитываются каждый раз после обработки всей совокупно сти обучающих примеров («эпохи»). Изменение весов происходит в направлении, обратном к направлению наибольшей крутизны для функции стоимости:

Здесь с — определяемый пользователем параметр, который называется величиной градиентного шага или коэффициентом обучения.

Другой возможный метол носит название стохастического градиентного. В нем веса пересчитываются после каждого просчета всех примеров из одного обучающего множества, и при этом используется частичная функция стоимости, соответствующая этому, например, k-му, множеству:

Обратное распространение ошибки

Рассмотрим теперь наиболее распространенный алгоритм обучения нейронных сетей с прямой связью — алгоритм обратного распространения ошибки (Backpropagation, BP), представляющий собой развитие гак называемого обобщенного дельта-правила (см. |281)). Этот алгоритм был заново открыт и популяризирован в 1986 г. Румельхартом и МакКлеландом из знаменитой Группы по изучению параллельных распределенных процессов в Массачусетском технологическом институте. В этом пункте мы более подробно рассмотрим математическую суть алгоритма. Он является алгоритмом градиентного спуска, минимизирующим суммарную квадратичную ошибку:

Здесь индекс i пробегает все выходы многослойной сети.

Основная идея ВР состоит в том, чтобы вычислять чувствительность ошибки сети к изменениям весов. Для этого нужно вычислить частные производные от ошибки по весам. Пусть обучающее множество состоит из Р образцов, и входы k-го образца обозначены через [х;]. Вычисление частных производных осуществляется но правилу цепи вес входа i-го нейрона, идущего от j-го нейрона, пересчитывается по формуле

где е — длина шага в направлении, обратном к градиенту.

Если рассмотреть отдельно k-й образец, то соответствующее изменение весов равно

Множитель 6't вычисляется через аналогичные множители из последующего слоя, и ошибка, таким образом, перелается в обратном направлении.

Для выходных элементов мы получаем:

Для скрытых элементов множитель 6^ определяется так:

где индекс h пробегает номера всех нейронов, на которые воздействует i-й нейрон. Данный алгоритм используется в двух вариантах.

Содержание

Далее

В стохастическом варианте веса пересчитываются каждый раз после просчета очередного образца, а в «эпохальном», или off-line варианте, веса меняются после просчета всего обучающего множества.