Классификаторы образцов

Априорную плотность вероятности можно оценить различными способами. В параметрических методах пред полагается, что плотность вероятности (PDF) является функцией определенного вида с неизвестными параметрами. Например, можно попробовать приблизить PDF при помощи гауссовой функции. Для того чтобы произвести классификацию нужно предварительно получить оценочные значения для вектора среднего и матрицы ковариаций по каждому из классов данных и затем использовать их и решающем правиле. И результате получится полиномиальное решающее правило, содержащее только квадраты и попарные произведения переменных. Вся описанная процедура называется квадратичным дискриминантным анализом (QDA). В предположении, что матрицы ковариаций у всех классов одинаковы, QDA сводится к линейному дискриминантиому анализу (LDA).

Рекомендуем: надежный брокер с качественным сервисом, представленный на рынке с 1998-го года. Выгодные торговые условия по валютам и бинарным опционам («фиксированным контрактам»). Депозит – от $0, спред – от 0 пунктов. Есть бесплатное обучение, финансовая аналитика и выгодная программа лояльности.

В методах другого типа — непараметрических — никаких предварительных предположений о плотности вероятности не требуется. В методе "k ближайших соседей" (kNN) вычисляется расстояние между вновь поступившим образцом и векторами обучающего множества, после чего образец относится к тому классу, к которому принадлежит большинство из к его ближайших соседей. В результате этого границы, разделяющие классы, получаются кусочно линейными. Ряд применений kNN-метода будет рассмотрен в гл. 8. В различных модификациях того метода используются различные меры расстояния и специальные приемы нахождения соседей. Иногда вместо самого множества образцов берется совокупность центроидов, соответствующих кластерам в методе адаптивного векторного квантования (LVQ) (см. (168)). В других методах классификатор разбивает данные на группы по схеме дерева. На каждом шаге подгруппа разбивается надвое, и в результате получается иерархическая структура бинарного дерева. Разделяющие границы получаются, как правило, кусочно линейными и соответствуют классам, состоящим из одного или нескольких листьев дерева. Этот метод хорош тем, что он порождает метод классификации, основанный на логических решающих правилах.

Содержание

Далее

Идеи древовидных классификаторов применяются в методах построения самонаращивающихся нейронных классификаторов.