|
Многочисленные исследования посвящены сравнению различных обучающих эвристик. В большинстве имеющихся нейронно-сетевых пакетов реализованы методы пакетной обработки, импульса, изменения величины шага, и даже более совершенные варианты алгоритмов типа алгоритма обратного распространения ошибки и квази-ньютоновские методы. В литературе описано много других алгоритмов, реализующих иные подходы к задаче оптимизации. Так, в основанном на идеях статистической физики метоле "замораживания" стабилизация алгоритма осуществляется за счет понижения «температурного» параметра. Другие подходы, такие, как метод случайного блуждания или Alopex используют случайный поиск в пространстве весов, и это принципиально отличает их от систематического поиска в методе обратного распространения ошибки. Наконец, в последнее время пользуются успехом так называемые генетические алгоритмы, в которых набор весов рассматривается как индивид, подверженный мутациям И скрещиванию, а в качестве показателя его «качества» берется критерий ошибки. По мере того, как нарождаются новые поколения, все более вероятным становится появление оптимального индивида.
Выбор эффективного обучающего алгоритма всегда включает в себя компромисс между сложностью решаемой задачи и техническими ограничениями (быстродействие и объем памяти компьютера, время, цена).
|
|
ОБОБЩАЮЩИЕ ПРАВИЛА
В предыдущем разделе мы описали различные способы приблизить функцию, которую реализует реальная сеть, к неизвестной функции, которую, как предполагается, можно определить по имеющемуся множеству примеров — обучающему множеству. Как в задачах классификации, так и в задачах прогноза, цель при построении сети должна состоять не в том, чтобы запомнить обучающую информацию, а в том, чтобы на основании изучения прошлого сделать определенные обобщения, которые можно будет затем применить к новым образцам. В конечном счете, эффективность сети определяется тем, как она работает со всей совокупностью возможных примеров (пространством возможных ситуаций). Так как все это множество целиком, как правило, недоступно, возникает практическая задача максимизации качества работы сети на всем множестве исходных Данных, и для этого вовсе не нужно требовать от сети высокой степени соответствия на каком-то «зашумленном» обучающем множестве.
В каждой реальной задаче присутствует шум, и необходимо уметь справляться с ним. В особенности это относится к задачам обработки временных рядов, в которых переменные получены и результате измерений в некоторой физической системе, причем в самой системе и/или в механизме измерений шум присутствует естественным образом. В финансовых приложениях данные зашумлены особенно сильно. Например, совершение сделок может регистрироваться в базе данных с запозданием, причем в разных случаях — с разным. Пропуск значений или неполную информацию также иногда рассматривают как шум: в таких случаях берется среднее или наилучшее значение, и это, конечно, приводит к зашумлению базы данных.
Отрицательно сказывается на обучении неправильное определение класса объекта в задачах распознавания — это ухудшает способность системы к обобщению при работе с новыми (т.е. не входившими в число образцов) объектами.
|
