Пособие по дисциплине нейроинформационные технологии шайдуров Александр Алексевич



страница9/16
Дата27.10.2016
Размер0.77 Mb.
Просмотров1042
Скачиваний1
ТипПособие
1   ...   5   6   7   8   9   10   11   12   ...   16

Глава 4. Обучение без учителя


Обучающие алгоритмы могут быть классифицированы как алгоритмы обучения с учителем и без учителя. В первом случае существует учитель, который предъявляет входные образы сети, сравнивает результирующие выходы с требуемыми, а затем настраивает веса сети таким образом, чтобы уменьшить различия. Трудно представить такой обучающий механизм в биологических системах; следовательно, хотя данный подход привел к большим успехам при решении прикладных задач, он отвергается исследователями, полагающими, что искусственные нейронные сети обязательно должны использовать те же механизмы, что и человеческий мозг.

Во втором случае обучение проводится без учителя, при предъявлении входных образов сеть самоорганизуется посредством настройки своих весов согласно определенному алгоритму. Вследствие отсутствия указания требуемого выхода в процессе обучения результаты непредсказуемы с точки зрения определения возбуждающих образов для конкретных нейронов. При этом, однако, сеть организуется в форме, отражающей существенные характеристики обучающего набора. Например, входные образы могут быть классифицированы согласно степени их сходства так, что образы одного класса активизируют один и тот же выходной нейрон.


4.1. Метод обучения Хэбба


Основываясь на физиологических и психологических исследованиях, Хэбб интуитивно выдвинул гипотезу о том, каким образом может обучаться набор биологических нейронов. Его теория предполагает только локальное взаимодействие между нейронами при отсутствии глобального учителя; следовательно, обучение является неуправляемым, Несмотря на то что его работа не включает математического анализа, идеи настолько ясны и непринужденны, что получили статус универсальных допущений.

Алгоритм обучения Хэбба

По существу Хэбб предположил, что синаптическое соединение двух нейронов усиливается, если оба эти нейрона возбуждены. Это можно представить как усиление синапса в соответствии с корреляцией уровней возбужденных нейронов, соединяемых данным синапсом. По этой причине алгоритм обучения Хэбба иногда называется корреляционным алгоритмом.

Идея алгоритма выражается следующим равенством:

wij(t+1) = wij(t) + NETi NETj, (18)

где wij(t) – сила синапса от нейрона i к нейрону j в момент времени t; NETi – уровень возбуждения предсинаптического нейрона; NETj – уровень возбуждения постсинаптического нейрона.

Концепция Хэбба отвечает на сложный вопрос, каким образом обучение может проводиться без учителя. В методе Хэбба обучение является исключительно локальным явлением, охватывающим только два нейрона и соединяющий их синапс; не требуется глобальной системы обратной связи для развития нейронных образований.

Последующее использование метода Хэбба для обучения нейронных сетей привело к большим успехам, но наряду с этим показало ограниченность метода; некоторые образы просто не могут использоваться для обучения этим методом. В результате появилось большое количество расширений и нововведений, большинство из которых в значительной степени основано на работе Хэбба.

Метод сигнального обучения Хэбба

Как мы видели, выход NET простого искусственного нейрона является взвешенной суммой его входов. Это может быть выражено следующим образом:

(19)

где NETj – выход NET нейрона j; OUTi – выход нейрона i;wij – вес связи нейрона i с нейроном j.

Можно показать, что в этом случае линейная многослойная сеть не является более мощной, чем однослойная сеть; рассматриваемые возможности сети могут быть улучшены только введением нелинейности в передаточную функцию нейрона. Говорят, что сеть, использующая сигмоидальную функцию активации и метод обучения Хэбба, обучается по сигнальному методу Хэбба. В этом случае уравнение Хэбба модифицируется следующим образом:

(20)



wij(t+1) = wij(t) + OUTi OUTj (21)

где wij(t) – сила синапса от нейрона i к нейрону j в момент времени t; OUTi – выходной уровень пресинаптического нейрона равный F(NETi); OUTj – выходной уровень постсинаптического нейрона равный F(NET).



Метод дифференциального обучения Хэбба

Метод сигнального обучения Хэбба предполагает вычисление свертки предыдущих изменений выходов для определения изменения весов. Настоящий метод, называемый методом дифференциального обучения Хэбба, использует следующее равенство:



wij(t+1) = wij(t) + [OUTi(t) – OUTi(t–1)][ OUTj(t) – OUTj(t–1)], (22)

где wij(t) – сила синапса от нейрона i к нейрону j в момент времени t; OUTi(t) – выходной уровень пресинаптического нейрона в момент времени t; OUTj(t) – выходной уровень постсинаптического нейрона в момент времени t.



Полный алгоритм обучения с применением вышеприведенных формул будет выглядеть так:

  1. На стадии инициализации всем весовым коэффициентам присваиваются небольшие случайные значения.

  2. На входы сети подается входной образ, и сигналы возбуждения распространяются по всем слоям согласно принципам классических прямопоточных (feedforward) сетей, то есть для каждого нейрона рассчитывается взвешенная сумма его входов, к которой затем применяется активационная (передаточная) функция нейрона, в результате чего получается его выходное значение yi(n), i=0...Mi-1, где Mi – число нейронов в слое i; n=0...N-1, а N – число слоев в сети.

  3. На основании полученных выходных значений нейронов производится изменение весовых коэффициентов.

  4. Цикл с шага 2, пока выходные значения сети не станут стабильными с заданной точностью.

Применение этого нового способа определения завершения обучения, отличного от использовавшегося для сетей построенных в предыдущей работе, обусловлено тем, что подстраиваемые значения синапсов фактически не ограничены.

На втором шаге цикла попеременно предъявляются все образы из входного набора.

Следует отметить, что вид откликов на каждый класс входных образов не известен заранее и будет представлять собой произвольное сочетание состояний нейронов выходного слоя, обусловленное случайным распределением весов на стадии инициализации. Вместе с тем, сеть способна обобщать схожие образы, относя их к одному классу. Тестирование обученной сети позволяет определить топологию классов в выходном слое. Для приведения откликов обученной сети к удобному представлению можно дополнить сеть одним слоем, который, например, по алгоритму обучения однослойного персептрона необходимо заставить отображать выходные реакции сети в требуемые образы.



    1. Поделитесь с Вашими друзьями:
1   ...   5   6   7   8   9   10   11   12   ...   16


База данных защищена авторским правом ©nethash.ru 2017
обратиться к администрации

войти | регистрация
    Главная страница


загрузить материал