Задача обучения нейрона. Виды обучения нейрона. Правило Хебба. Дельта-правило



Pdf просмотр
страница1/7
Дата17.02.2017
Размер2.05 Mb.
Просмотров824
Скачиваний0
ТипЗадача
  1   2   3   4   5   6   7

Введение ...................................................................................................................................................2
Формальный нейрон. Типология нейронов. Задача, решаемая нейроном, геометрическая интерпретация. .........................................................................................................................................4
Задача обучения нейрона. Виды обучения нейрона. Правило Хебба. Дельта-правило.
Геометрическая интерпретация..............................................................................................................6
Нейронная сеть. Слой, типология слоёв. Типология нейронных сетей. Основные классы задач, решаемых нейронными сетями. .............................................................................................................9
Задача обучения нейронной сети, отличие от задачи обучения нейрона. Проблемы. Примеры алгоритмов и методов обучения...........................................................................................................11
Структура альфа-персептрона. Задача, решаемая альфа-персептроном. Гамма-персептрон, различия. Задачи, решаемые персептронами без обратных и перекрёстных связей. .....................12
Градиентные методы. ............................................................................................................................14
Математическое обоснование метода обратного распространения ошибки. Алгоритм обратного распространения ошибки. .....................................................................................................................14
Вывод формулы для расчёта адаптивного коэффициента обучения в алгоритме обратного распространения ошибки. .....................................................................................................................16
Вывод формулы для расчёта адаптивного шага обучения для нерекуррентной линейной нейронной сети.......................................................................................................................................18
Алгоритм послойного обучения. Назначение и отличие от алгоритма обратного распространения ошибки. .....................................................................................................................18
Алгоритм многократного распространения ошибки. Назначение и отличие от алгоритма обратного распространения ошибки....................................................................................................20
Задача предсказания числовых последовательностей с помощью нейронных сетей. Особенности устройства нейронных сетей для предсказания числовых последовательностей...........................20
Реккурентные нейронные сети. Контекстный нейрон. Обучение. Сеть Элмана. Сеть Джордана.21
Рец иркуляционные нейронные сети. Линейная рециркуляционная сеть. Задача, решаемая линейной рециркуляционной сетью (метод главных компонент). ...................................................24
Алгоритмы обучения и функционирования линейной рециркуляционной сети. ...........................28
Релаксационные нейронные сети. Синхронная сеть Хопфилда. Непрерывное и дискретное состояние. Структура, обучение, энергия, функционирование. .......................................................32
Релаксационные нейронные сети. Асинхронная сеть Хопфилда. Непрерывное и дискретное состояние. Структура, обучение, энергия, функционирование. .......................................................35
Сеть Хэмминга. Назначение, обучение и функционирование. .........................................................36
Линейная ассоциативная память и ассоциативная память на основе сети Хопфилда.
Функционирование, отличие. ...............................................................................................................40
Двунаправленная ассоциативная память. Назначение, структура, обучение и функционирование.
..................................................................................................................................................................41
Двунаправленная ассоциативная память. Метод обучения двунаправленной ассоциативной памяти с модифицированной структурой. ..........................................................................................43
Сеть адаптивного резонанса. Назначение, структура, обучение и функционирование. ................47
Структура APT ...............................................................................................................................47
Функционирование APT ...............................................................................................................54
ПРИМЕР ОБУЧЕНИЯ СЕТИ APT...............................................................................................57
ЗАКЛЮЧЕНИЕ..............................................................................................................................59
Устройство и структура нейронных сетей для решения задач классификации и кластеризации.
Правила обучения: WTA и CWTA. ......................................................................................................59
Структура когнитрона, неокогнитрона и свёрточных нейронных сетей, отличия. Назначение когнитрона, неокогнитрона и свёрточных нейронных сетей. ...........................................................62
НЕОКОГНИТРОН .........................................................................................................................67
Псевдооптическая нейронная сеть. Интерферирующий нейрон, устройство. Назначение, структура и функционирование сети. ..................................................................................................71
Машина Больцмана, назначение. Устройство и функционирование. ..............................................73

Предетекторы и детекторы. Поле (карта) детекторов. Детекторы новизны и тождества. Схема активного анализа на основе нейроподобных элементов..................................................................73
Аппаратная реализация нейронных сетей. Процедура проектирования систолических массивов
(процессоров), на основе структуры сети. Систолические процессоры для двухслойной нейронной сети (первый слой – рецепторы). Эффективность. Предпочтение по эффективности.
........................................................................................................Ошибка! Закладка не определена.
Систолический массив с разнонаправленными связями. Сравнение по эффективности с процессорами с однонаправленными связями....................................................................................77
Матричный систолический процессор. Сравнение по эффективности............................................78
Систолические массивы для многослойных нейронных сетей. Структура систолического массива, объединяющего различные систолические процессоры. Эффективность. ......................79
Систолические массивы для многослойных нейронных сетей. Структура систолического массива, объединяющего идентичные систолические процессоры. Эффективность.....................80
Систолические процессоры для реализации релаксационных нейронных сетей (сети Хопфилда).
..................................................................................................................................................................80
Методы обеспечения отказоустойчивости. Скользящее резервирование. ......................................81
Методы обеспечения отказоустойчивости. Секционированное резервирование. Схема для неоднородного потока входных данных. ............................................................................................82
Нечёткие нейронные сети. Структура, функционирование, обучение. ...........................................82
Литература..............................................................................................................................................87
Введение
Теория нейронных сетей включает широкий круг вопросов из разных областей науки: биофизики, математики, информатики, схемотехники и технологии. Искусственные нейронные сети — набор математических и алгоритмических методов для решения широкого круга задач.
Нейронные сети превосходят последовательные машины в решении тех же задач, в которых машину превосходит человек. Задачи, требующие большого объема вычислений или высокой точности лучше выполняются обычной ЭВМ. К задачам, успешно решаемым нейронными сетями на данном этапе их развития относятся:
— распознавание зрительных, слуховых образов; огромная область применения: от распознавания текста и целей на экране радара до систем голосового управления;
— ассоциативный поиск информации и создание ассоциативных моделей; синтез речи; формирование естественного языка;
— формирование моделей и различных нелинейных и трудно описываемых математически систем, прогнозирование развития этих систем во времени: применение на производстве; прогнозирование развития циклонов и других природных процессов, прогнозирование изменений курсов валют и других финансовых процессов;
— системы управления и регулирования с предсказанием; управление роботами, другими сложными устройствами
— разнообразные конечные автоматы: системы массового обслуживания и коммутации, телекоммуникационные системы;
— принятие решений и диагностика, исключающие логический вывод; особенно в областях, где отсутствуют четкие математические модели: в медицине, криминалистике, финансовой сфере.

Развитие искусственных нейронных сетей вдохновляется биологией. То есть рассматривая сетевые конфигурации и алгоритмы, исследователи мыслят их в терминах организации мозговой деятельности. Но на этом аналогия может и закончиться. Знания о работе мозга на данный момент столь ограничены, что мало бы нашлось руководящих ориентиров для тех, кто стал бы ему подражать.
Поэтому разработчикам сетей приходится выходить за пределы современных биологических знаний в поисках структур, способных выполнять полезные функции. Во многих случаях это приводит к необходимости отказа от биологического правдоподобия, мозг становится просто метафорой, и создаются сети, невозможные в живой материи или требующие неправдоподобно больших допущений об анатомии и функционировании мозга.
Несмотря на то, что связь с биологией слаба и зачастую несущественна, искусственные нейронные сети продолжают сравниваться с мозгом. Их функционирование часто напоминает человеческое познание, поэтому трудно избежать этой аналогии.
Мозг человека состоит из белого и серого веществ: белое – это тела нейронов, а серое – это соединительная ткань между нейронами, или аксоны и
дендриты. Дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсами входные сигналы подводятся к телу нейрона. Здесь они суммируются, причем одни входы стремятся возбудить нейрон, другие – воспрепятствовать его возбуждению. Синапсы отличаются друг от друга, по этой причине импульсы одинаковой величины, поступающие на входы нервной клетки через различные синапсы, могут возбуждать ее в разной степени.
Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по единственному, разветвляющемуся на конце аксону сигнал другим нейронам.
Аксон контактирует с телами и дендритами других нейронов, образуя очередные синапсы (см. рис. 1).
Рис. 1. Биологический нейрон

У этой основной функциональной схемы много усложнений и исключений, тем не менее большинство искусственных нейронных сетей моделируют лишь эти простые свойства.
Формальный нейрон. Типология нейронов. Задача, решаемая нейроном,
геометрическая интерпретация.
Формальный нейрон.
Формальный нейрон имитирует в первом приближении свойства биологического нейрона. На вход формального нейрона поступает некоторое множество сигналов, обозначенных x
1
, x
2
,…, x
n
, каждый из которых является выходом другого нейрона. Эти входные сигналы, в совокупности обозначаемые вектором X, соответствуют сигналам, приходящим в синапсы биологического нейрона. Т.к. синапсы отличаются друг от друга, над входными сигналами осуществляется преобразование L. Его результат подаётся на вход активационной функции F, которая формирует на аксоне нейрона выходной сигнал Y.
Таким образом, с математической точки зрения нейрон представляет собой композицию функций, задающих зависимость выходного сигнала нейрона Y от вектора входных сигналов X:
( )
(
Y
F L X
=
)
(1) где
X = (x
1
, x
2
, x
3
, x
4
, …x n
) – вектор входных сигналов,
L(X) – это функция преобразования вектора входных сигналов на синапсах нейрона,
F( ) – функция активации нейрона.
Структурно нейрон можно изобразить следующим образом: входные сигналы – компоненты вектора X – движутся по дендритам и поступают на синапсы, которые изображены в виде (трёх) кружочков, там над сигналами осуществляется преобразование L, после чего функция F дает выходной сигнал Y.
F
X
Y
L
Рис. 2. Структура нейрона

Типология нейронов.
Тип нейрона определяется типом обрабатываемого сигнала и видом функций
F и L.

Типология входных сигналов x i
– компонентов вектора X: структура сигнала

однопараметрический (скаляр), мощность шкалы измерения сигнала

дискретная шкала (дискретный сигнал),

непрерывная шкала (аналоговый сигнал);

многопараметрический (вектор), физическая интерпретация характеристик многопараметрического сигнала

амплитуда,

частота (спектр),

фаза,

длительность.
Типология возможных функций активации нейронов: функция
Формула график линейная
(вырожденная функция активации, используется при решении задач прогнозирования)
( )
( )
*
F X
k L X
T
=

-15
-10
-5 0
5 10 15 20
-10
-5 0
5 10 15 20
L(X)
Y
пороговая
( )
( )
( )
1 1
, при L X
, при L X
k
T
F X
k
T

=
<
0 0 , 2 0 , 4 0 , 6 0 , 8 1
1 , 2
- 1 0
- 5 0
5 1 0 1 5 2 0
L ( X
)
Y
функция знака
( )
( )
(
)
*
F X
k sign L X
T
=

- 1 , 5
- 1
- 0 , 5 0
0 , 5 1
1 , 5
- 1 0
- 5 0
5 1 0 1 5 2 0
L ( X )
Y
ограниченная линейная
( )
( )
(
)
( )
(
)
(
)
( )
( )
2 2
2 1
1 1
2 2
1 1
1 1
, при
*
, при
, при
k
L X
T
k
k
L X
T
F X
T
L X
T
T
T
k
k
L X
T
>


=


-5
-4
-3
-2
-1 0
1 2
-10
-5 0
5 10 15 20
L(X)
Y

+
<
сигмоидная
( )
( )
*
1 1
k L X
T
F x
e

=
+
0 0,2 0,4 0,6 0,8 1
1,2
-10
-5 0
5 10 15 20
L(X)
Y
гиперболический тангенс
( )
( )
(
)
*
X
F x
th k L
T
=

-1,5
-1
-0,5 0
0,5 1
1,5
-10
-5 0
5 10 15 20
L(X)
Y
логарифмическая
( )
( )
( )
(
)
2
ln
X
1
F x
L
L X
=
+
+
-4
-3
-2
-1 0
1 2
3 4
-10
-5 0
5 10 15 20
L(X)
Y
радиально- базисная
( )
( )
2 2
L X
T
k
F X
e










=
0 0,2 0,4 0,6 0,8 1
1,2
-10
-5 0
5 10 15 20
L(X)
Y
Соответственно тип нейрона определяется типом обрабатываемого сигнала и видом функции F и L.
Геометрическая интерпретация задачи нейрона.
Рассмотрим нейрон вида:
L(X) = (X,W) ;
(2)
F(X) =
1, при L(X) ≥ T;
0, при L(X) < T;
(3)
В нем выходной сигнал принимает двоичные значения: 0 или 1. Значение 1 соответствует превышению порога возбуждения нейрона, а значение 0 – возбуждению ниже порогового уровня.
Рис. 3. Геометрическая интерпретация задачи, решаемой нейроном
W
x
1
x
2
T
1
0
Такой нейрон разбивает пространство входных сигналов на две линейно разделённые области точек этого пространства: для точек из одной области нейрон будет давать на выходе сигнал 1, а для точек из другой области – 0.
Задача обучения нейрона. Виды обучения нейрона. Правило Хебба. Дельта-
правило. Геометрическая интерпретация.
Рассмотрим нейрон вида:
( )
1
*
*
N
i
i
i
L X
W x
W
=
=
=

X
uur uur
(4)
F(X) =
1, при L(X) ≥ T;
0, при L(X) < T;
(5)
Это одна из первых моделей нейрона, называемая моделью МакКаллока-
Питса (предложена в 1943 г.), в ней выходной сигнал принимает двоичные значения: 0 или 1. Значение 1 соответствует превышению порога возбуждения нейрона, а значение 0 – возбуждению ниже порогового уровня. Коэффициенты представляют веса синаптических связей. Положительное значение соответствует возбуждающим синапсам, отрицательное значение
W
- тормозящим синапсам, тогда как
W
= 0 свидетельствует об отсутствии связи между нейронами.
i
W
i
W
i
i

Модель МакКаллока-Питса – это дискретная модель, в которой состояние нейрона в момент (t + 1) рассчитывается по значениям его входных сигналов в предыду- щий момент t.
Через несколько лет Д. Хебб предложил теорию обучения нейронов. Процесс обучения рассматриваемого нейрона сводится к изменению его внутренних параметров – компонентов вектора W и порога T. Д. Хебб в процессе исследования нервных клеток заметил, что связь между двумя клетками усиливается, если обе клетки пробуждаются (становятся активными) в один и тот же момент времени. Если клетка с выходным сигналом Y связана с клеткой, имеющей выходной сигнал x i
, связью с весом w
i
, то на силу связи этих клеток влияют значения выходных сигналов x i
и Y.
Приведённая ниже формула была предложена одной из первых для обучения нейрона и известна как правило Хебба. В соответствии с правилом ним, вес w
i

нейрона изменяется пропорционально произведению его входного и выходного сигналов: w
i
(t+1) = w i
(t)+α
*
x i *
Y, i = 1..n здесь w i
(t+1) и w i
(t) – компоненты вектора W в момент времени t+1 и t соответственно, α – коэффициент обучения (0 < α ≤ 1).
Чтобы использовать правило Хебба для настройки порога поступают следующим образом: переходят от рассматриваемого нами нейрона (см. рис. 1) к нейрону, изображённому на рис. 2.
Рис. 4
Рис. 5 где
F’(X) =
1, при L(X) ≥ 0;
0, при L(X) < 0;
(6) x
3
= -1, а w
3
= T. Таким образом:
T(t+1) = T(t)-α
*
Y здесь стоит отметить, что эту формулу целесообразно применять в случае, когда функция активации нейрона является биполярно-пороговой: Y
∈ {-1; 1}, или осуществляется нормализация вектора W, включая порог.
Согласно правилу Хебба процесс обучения зависит от входных и внутренних значений характеристик нейрона. Такой механизм обучения называется обучением без учителя – на этапе адаптации нейрона мы не можем прогнозировать его выходные сигналы
. Обучающий алгоритм подстраивает веса так, чтобы получались согласованные выходы, т. е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы.
Если же при обучении используется эталонное (ожидаемое) значение выходного сигнала нейрона, то такой механизм обучения называется обучением с учителем – результат обучения предопределен заранее благодаря заданным
F’ x
3
Y
L x
1
x
2
F x
1
L x
Y
2
обучающим эталонным значениям
. Приведём формулу для обучения с учителем известную как дельта- правило: w
i
(t+1) = w i
(t)+α
*
x i*
(D-Y), i = 1..n
P – эталонное значение выходного сигнала нейрона.
Несмотря на многочисленные прикладные достижения, обучение с учителем критиковалось за свою биологическую неправдоподобность.
Рассмотрим геометрическую интерпретацию правила Хебба и дельта-правила.
Пусть есть нейрон с двумя входами и пороговой функцией активации (k
1
=1; k
2
=0; T=0), каждый сигнал, поступающий на вход такого нейрона, умножается на вес – компонент вектора W. Рассмотрим процесс изменения согласно правилу
Хебба вектора W, обозначив вектора W и Х в момент времени i как W
(i)
и X
(i)
соответственно.
W
(0)
= (2,-3); X
(0)
= (2,0)
W
(1)
= (4,-3); X
(1)
= (2,1)
W
(2)
= (6,-2); X
(2)
= (1,1)
W
(3)
= (7,-1); X
(3)
= (2,1)
W
(4)
= (9,0); X
(4)
= (1,-2)
W
(5)
= (10,-2)
x
2
Рис. 6. Обучение нейрона по правилу Хебба
Рассмотрим обучение такого же нейрона, но только уже согласно дельта- правилу.
W
(0)
= (2,-3); X
(0)
=
(3,3);
Y=0;
S=1
W
(1)
= (3,-2)
W
0
x
1
W
5
x
1
x
2
x
2
W
0
x
1
W
1

W
(0)
= (2,-3); X
(0)
= (-
3,-3);
Y=1;
S=0
W
(1)
= (3,-2) x
2
W
0
x
1
W
1
Рис. 7. Обучение нейрона по дельта-правилу
В случае нормализации векторов W и X геометрическая интерпретация процесса обучения согласно дельта-правилу, заключается в подстройке направления вектора W в направлении некоторого эталонного вектора

W.
Рис. 8. Геометрическая интерпретация задачи, решаемой нейроном
W
(0)

W

W
W
(1)
Нейронная сеть. Слой, типология слоёв. Типология нейронных сетей.
Основные классы задач, решаемых нейронными сетями.
Объединенные между собой, связанные структурно, нейроны образуют систему, которая называется искусственной нейронной сетью. По своей организации и функциональному назначению искусственная нейронная сеть с несколькими входами и выходами выполняет некоторое преобразование входных стимулов – сенсорной информации о внешнем мире – в выходные управляющие сигналы.
Число преобразуемых стимулов равно n – числу входов сети, а число выходных сигналов соответствует числу выходов m. Совокупность всевозможных входных векторов размерности n образует векторное пространство X. Аналогично,
выходные вектора также формируют векторное пространство Y. Таким образом нейронная сеть задаёт некоторую многомерную функцию F: X → Y , аргумент которой принадлежит пространству X входов, а значение – выходному пространству Y. При произвольном значении синаптических весовых коэффициентов нейронов сети функция, реализуемая сетью также произвольна.
Для получения требуемой функции необходим специфический выбор весов.
Упорядоченная совокупность всех весовых коэффициентов всех нейронов может быть представлена, как вектор W. Множество всех таких векторов также формирует векторное пространство


Поделитесь с Вашими друзьями:
  1   2   3   4   5   6   7


База данных защищена авторским правом ©nethash.ru 2017
обратиться к администрации

войти | регистрация
    Главная страница


загрузить материал