Искусственные нейронные сети: ● Рекуррентные сети как ассоциативные запоминающие устройства



Скачать 181.29 Kb.
Pdf просмотр
Дата17.02.2017
Размер181.29 Kb.
Просмотров94
Скачиваний0

Искусственные нейронные сети:

Рекуррентные сети как ассоциативные
запоминающие устройства

Сети с самоорганизацией
на основе конкуренции
Искусственные нейронные сети:

Рекуррентные сети как ассоциативные
запоминающие устройства

Сети с самоорганизацией
на основе конкуренции
Осовский С. Нейронные сети для обработки информации / Пер. с польского
И.Д. Рудинского - М.: Финансы и статистика, 2002
Интеллектуальные информационные системы
Д.А. Назаров
(ред. Январь 2013)
Интеллектуальные информационные системы
Д.А. Назаров
(ред. Январь 2013)

2
Отдельную группу ИНС составляют
сети с обратными связями
между различными слоями нейронов. Это так называемые рекуррентные сети. Их общая черта —
передача
сигналов с выходного или скрытого слоя во входной слой
Главная особенность таких сетей —
динамические зависимости на каждом этапе
функционирования
. Изменение состояния одного нейрона отражается на всей сети вследствие обратной связи типа „один ко многим“.
В сети возникает некоторый переходный процесс, который завершается формированием нового устойчивого состояния, отличающегося от предыдущего.
Если активационная функция , то, принимая во внимание наличие сязи „один ко многим“ изменение его состояния может быть описано СДНУ:
Для , где представляет собой пороговое значение, заданное внешним источником (показатель поляризации), - численная константа.
y
i
=
f (u
i
)=
f
(

j =1
N
w
ij
x
j
)
τ
i
du
i
dt
=

j=1, ji
N
w
ij
f (u
j
)−
u
i

b
i
i=1,2,…, N
b
i
τ
i

3
Рассмотрим
основные классы рекуррентных сетей
, функционирующих в качестве ассоциативных запоминающих устройств.
Ассоциативная память играет роль системы, определяющей взаимную зависимость векторов. В случае, когда на взаимозависимость исследуются компоненты одного вектора, говорят об
автоассоциативной памяти
Если рассматривается взаимозависимость двух векторов, то можно говорить о памяти
гетероассоциативного типа
Главная задача
ассоциативной памяти сводится к запоминанию входных (обучающих) выборок таким образом, чтобы при предоставлении новой выборки система смогла сгенерировать ответ, какая из запомненных ранее выборок наиболее близка к вновь поступившему образу. Часто для определения меры близости используется расстояние
Хэмминга:
d
H
( ⃗y ,
d )=

i=1
N

y
i

d
i

, y
i
, d
i
∈{
0,1}

4
Автоассоциативная сеть Хопфилда
z
-1
z
-1
z
-1
z
-1
z
-1
z
-1
y
1
y
2
y
n
1 1
1
w
10
w
20
w
n0
.
.
.
. .
.
w
11
w
12
w
1n
. . .
w
21
w
22
w
2n
w
nn
w
n2
w
n1
Характерной особенностью сети является то, что выходные сигналы нейронов являются одновременно и входными синлалами сети:
В классической системе
Хопфилда отсутствует связь нейрона с собственным выходом, т. е. , а матрица весов является симметричной: .
Процесс обучения формирует зоны притяжения (аттракции) некоторых точек равновесия, соответствующих начальным данным.
x
i
(
k)= y
i
(
k−1)
w
ii
=
0
W =W
T
Рис. 1. Обобщённая структура
ИНС Хопфилда

5
Будем считать, что каждый нейрон имеет функцию активации типа signum
(значение ), тогда выходной сигнал i -го нейрона
(сигнал поляризации - )
Основные зависимости, определяющие сеть Хопфилда, можно представить в виде:
( 1 )
±
1
y
i
=
sgn
(

j=0
N
w
ij
x
j
)
x
0
y
i
(
k )=sgn
(

j=1, ji
w
ij
y
j
(
k−1)
)
, y
i
(
0)=x
j
x
y=sgn( x)
0 1

1
Рис. 2. График функции signum

6
Процесс функционирования сети имеет 2 режима:
обучение
и
классификация
В режиме обучения подбираются веса на основе обучающих выборок.
В режиме классификации после ввода начального значения нейронов возникает переходный процесс в соответствии с выражением (1), завершающийся в одном из локальных минимумов, для которого .
Этого можно достичь, если выбрать значения , поскольку тогда
- вследствие биполярных значений элементов вектора всегда
w
ij
y
i
(
0)=x
i
y(k )= y(k −1)
w
ij
=
1
N
x
i
x
j
1
N
(

j=1
N
x
i
x
j
x
j
)
=
x
i
x
(
x
j
)
2
=(±
1)
2
=
1

7
При вводе большого количества обучающих выборок веса подбираются согласно обобщённому правилу Хебба:
( 2 )
В случае множества обучающих выборок становится актуальным
фактор стабильности
ассоциативной памяти.
Для стабильного функционирования необходимо, чтобы реакция i-го нейрона на
- тую обучающую выборку совпадала с её i -й составляющей . Это означает, что с учётом ( 2 ):
( 3 )
Если взвешенную сумму входных сигналов i-го нейрона обозначить , то можно выделить в ней ожидаемое значение и остаток, называемый
диафонией
:
x ( k ) , k =1, 2, … , p
w
ij
w
ij
=
1
N

k =1
p
x
i
(
k )
x
j
(
k )
y
i
(
l )
l
x
(
l )
x
i
(
l )
y
i
(
l )
=
sgn
(

j=0
N
w
ij
x
j
(
l )
)
=
sgn
(
1
N

j=0
N

k =1
p
x
i
(
k )
x
j
(
k )
x
j
(
l )
)
=
x
i
(
l )
x
i
(
l )
u
i
(
l )
u
i
(
l )
=
x
i
(
l )
+
1
N

j=0
N

k l
x
i
(
k )
x
j
(
k )
x
j
(
l )

8
Вследствие использование функции активации типа signum выполнение условия (3) возможно тогда, когда значение диафонии настолько мало, что оно не в состоянии изменить знак .
Важным параметром ассоциативной памяти является её
ёмкость
. Под этим термином следует понимать максимальное количество запомненных образов, классифицируемых с допустимой погрешностью .
При использовании для правила Хебба (1% двоичных разрядов отличается от нормального состояния) максимальная ёмкость памяти составит 13,8% от количества нейронов.
ϵ
max
x
i
(
l )
ϵ
max
=
1 %

9
ИНС Хэмминга
Сеть Хэмминга — это трёхслойная рекуррентная структура, которую можно считать развитием сети Хопфилда.
y
1

w
(
1)
.
. .
.
.
.
.
. .
y
2
y
M

w
(
M )
x
1
x
2
x
N
MAXNET
Рис. 3. Структура сети Хэмминга

w
(
2)
.
.
.

10
Сеть Хэмминга позиционируется как
гетероассоциативное запоминающее
устройство
. Главной идеей является минимизация расстояния Хэмминга между тестовым вектором, подаваемым на вход сети, и векторами обучающих выборок, закодированными в структуре сети.
Первый слой
имеет однонаправленное распространение сигналов и фиксированные значения весов.
Второй слой
, MAXNET, состоит из нейронов, сязанных обратными сязями по принципу „каждый с каждым“, при этом в отличие от структуры Хопфилда существует ненулевая связь входа нейрона со своим выходом. Веса нейронов в слое MAXNET также постоянны.
Различные нейроны сязаны отрицательной (подавляющей) обратной сязью с весом, равным , при этом (обратнопропорционально количеству образов).
−ϵ
ϵ∼
1
p

11
С собственным выходом нейрон связан положительной (возбуждающей) обратной связью с весом равным 1.
Веса поляризации равны 0.
Нейроны этого (второго) слоя функционируют в режиме
WTA
(Winner Takes All): в каждой фиксированной ситуации
активизируется только один нейрон
, а остальные находятся в состоянии покоя.
Выходной однонаправленный слой
формирует выходной вектор, соответствующий входному вектору. Веса нейронов этого слоя подбираются в зависимости от входных обучающих выборок.
В процессе функционирования сети можно выделить 3 основные фазы:

12
В процессе функционирования сети можно выделить 3 основные фазы:
1.
На вход
подаётся N-вектор . После этого на выходах нейронов первого слоя генерируются сигналы, задающие состояния нейронов второго слоя MAXNET.
2.Инициировавшие
MAXNET
сигналы удаляются, и из сформированного ими начального состояния запускается
итерационный процесс
внутри этого слоя.
Итерационный процесс завершается в момент, когда все нейроны кроме одного
(
победитель с выходным сигналом 1
), перейдут в нулевое состояние. Нейрон- победитель с ненулевым выходным сигналом
становится представителем класса
данных, которому принадлежит входной вектор.
3.
Этот же нейрон
посредством весов, связывающих его с нейронами выходного слоя,
формирует на выходе сети отклик
в виде вектора , соответствующего исходному
x
x
y

13
Сеть Хэмминга считается гетероассоциативным запоминающим устройством с парой связанных между собой векторов , где и - соответственно входной и выходной векторы сети со значениями элементов .
Нейроны
первого слоя
рассчитывают
расстояние Хэмминга
между вектором и каждым из p закодированных векторов-образцов , образующих веса нейронов первого слоя.
Нейроны в слое
MAXNET
выбирают вектор с наименьшим расстоянием Хэмминга, определяя таким образом
класс, которому принадлежит вектор
Веса нейронов выходного слоя формируют вектор, соответствующий предъявленному вектору .
При p нейронах первого слоя
ёмкость
запоминающего устройства Хэмминга также равна p образам, поскольку каждый нейрон представляет единственный класс.
(⃗x , y)
x
y
x
x
(
i)

w
(
1)
x
x
±
1

14
Подбор весовых коэффициентов сети Хэмминга
Веса первого слоя соответствуют очередным векторам образов :
Аналогично, веса выходного слоя соответствуют очередным векторам образов , сязанным с :
В случае нейронов слоя MAXNET, функционирующих в режиме WTA, веса сети должны усиливать собственный сигнал нейрона и ослаблять остальные. Для достижения этого эффекта принимается:
а также:
w
ij
(
1)
=
x
j
(
i)
, i=1,... , p
x
(
i)
y
(
i )
x
(
i)
w
ji
(
2)
=
y
j
(
i)
w
ii
(
m)
=
1

1
p−1
<
w
ij
(
m)
<
0 , ij

15
Значения нейронов первого слоя (расстояние Хэмминга) определяется:
, где - расстояние
Хэмминга между входными векторами и
, если ; , если . В остальных случаях
Сигналы становятся начальными состояниями нейронов слоя MAXNET на второй стадии функционирования сети. Задача нейронов этого слоя заключается в определении победителя. т. е. Нейрона, уровень выхода которого близок к 1. Такой нейрон указывает на вектор образца с минимальным расстоянием Хэмминга до входного вектора .
Процесс определения победителя является рекурретным:
при начальном значении
̂
y
i
=
1−
d
H
(⃗x
(
i )
, x)
N
̂
y
i
=
1
d
H
(⃗x
(
i)
, x)
x
(
i)
x
x=⃗x
(
i)
̂
y
i
=
0
x=−⃗x
(
i)
̂
y
i
∈[
0,1]
̂
y
i
y
i
(
k )= f
(

j
w
ij
(
m)
y
j
(
k −1)
)
=
f
(
y
i
(
k −1)+

ji
w
ij
(
m)
y
j
(
k−1)
)
y
j
(
0)= ̂y
i

16
Функция активации нейронов слоя MAXNET
Итерационный процесс завершается в момент, когда состояния нейронов стабилизируются, и активность продолжает проявлять только один нейрон.
Активный нейрон становится победителем и через веса линейных нейронов выходного слоя представляет вектор , который соотвествтует вектору , признанному слоем MAXNET ближайшим к входному .
Важным
достоинством сети Хэмминга
считается небольшое количество взвешенных связей между нейронами. Например, 100-входовая сеть Хопфилда, кодирующая 10 различных векторых классов, должна иметь 10 000 взвешенных сязей с подбираемыми значениями весов. При построении аналогичной сети Хэмминга количество взвешенных связей уменьшится до 1 100, из которых 1 000 весов находятся в первом слое и 100 — в слое MAXNET. Выходной слой в этом случае не учитывается, т. к. сеть, аналогичная сети
Хопфилда, является ассоциативной.
f ( y)
f ( y)=
{
y , y≥0 0, y<0
w
ij
(
2)
y
(
i )
x
(
i)
x

17
Сети с самоорганизацией на основе конкуренции
В основе обучения таких сетей лежит конкуренция между нейронами. Как правило, нейроны группируются в один слой, и каждый из них связан со всеми выходными сигналами.
Веса синаптических связей образуют вектор
При активации сети входным вектором в конкурентной борьбе побеждает тот нейрон,
веса которого в наименьшей степени отличаются от соответствующих компонент этого вектора:

w
i
=(
w
i1
, w
i2
,, w
iN
)
T
x=( x
1
, x
2
,, x
N
)
T
d (⃗x ,
w
win
)=
min
i=1,… , K
d (⃗x ,
w
i
)
x
1
x
2
x
N
.
. .
Рис. 4. Структура самоорганизующейся сети

18
Вокруг нейрона-победителя формируется
окрестность
, уменьшающаяся с каждой итерацией.
В
пределах этой окрестности
нейроны подвергаются адаптации, в ходе которой векторы их весов изменяются в направлении вектора по
правилу Кохонена
:
для
- коэффициент скорости обучения i-го нейрона из окрестности на итерации t.
Веса нейронов, находящихся
за пределами
этой окрестности,
не меняются
Для связного разделения пространства входных данных необходима
нормализация
входных векторов
:
Стремящиеся к ним вектора весов также будут нормализованы.

w
i
(
t+1)= ⃗
w
i
(
t)+η
i
(
t)[⃗x− ⃗
w
i
(
t)]
S
win
(
t)
η
i
x
S
win
(
t)

iS
win
(
t)
x
i
*
=
x
i


j=1
N
x
j
2

19
Алгоритм Кохонена
Был предложен финским учёным Теуво Кохоненом.
Является наиболее старым алгоритмом обучения сетей с самоорганизацией на основе конкуренции. В настоящее время существует множество его модификаций.
В
классическом алгоритме Кохонена
сеть инициализируется путём приписывания нейронам определённых позиций в пространстве и сязывания их с соседями на постоянной основе.
В момент выбора победителя уточняются не только его веса, но и веса его соседей, находящихся в ближайшей окрестности. Наиболее распространённой
функцией
соседства
является функция Гаусса:
Степень адаптации нейронов-соседей определяется не только евклидовым расстоянием между i-м нейроном и победителем, но и уровнем соседства. При соседстве гауссовского типа уровень адаптации зависит от значения функции Гаусса.
G(⃗i ,
w)=exp
(

d
2
(⃗
i ,
w)
2 λ
2
)

20
Самоорганизующиеся карты Кохонена
Самоорганизующаяся карта Кохонена состоит из нейронов, описываемых двумя векторами:
Вектор весовых коэффициентов
Вектор координат узла на карте (часто — двумерное изображение)
Обычно нейроны (узлы карты) располагают в
вершинах регулярной решётки
Работа сети
состоит в следующем:
1. Инициализация весов случайными значениями
2. Цикл обучения:
2.1. Выбор обучающего примера (обычно случайно)
2.2. Нахождение наиболее близкого нейрона (BMU, Win)
2.3. Определение количества соседей BMU и изменение их весов.
. . .
Рис. 5. Структура карты
Кохонена
x
1
x
2
x
N

w
i

r
i

w
i

r
i

21
Обучение состоит в следующем:
1
Ближайший узел
на текущей итерации находится из выражения для его весов:
(по всем узлам)
В случае нескольких кандидатов — выбор случайным образом.
2
. Вычисление
функции соседства
:
- обучающий множитель, - монотонно убывает
- уменьшает количество соседей, монотонно убывает
3
Коррекция весов
для узлов, находящихся
в соседстве с победителем
:
4
Вычисление ошибки
карты Кохонена: среднее арифметическое между входными векторами и весами соответствующих им нейронов-победителей:
∣⃗x− ⃗
w
c
∣ ≤ ∣⃗x− ⃗
w
i
∣ ∀
i=1, 2,… , K
h(c ,i , t)=α(t)exp
(

∣⃗
r
c
−⃗
r
i

2 2 σ
2
(
t)
)

r
c
α(
t)
0
α(
t)
U
c
(
t)
σ (
t)
∣α(
t)∣<1

w
i
(
t+1)= ⃗
w
i
(
t)+h(c ,i , t)(⃗x− ⃗
w
i
(
t))
ϵ=
1
p

i=1
p
∥⃗
x
i
− ⃗
w
c
i


Document Outline

  • Страница 1
  • Страница 2
  • Страница 3
  • Страница 4
  • Страница 5
  • Страница 6
  • Страница 7
  • Страница 8
  • Страница 9
  • Страница 10
  • Страница 11
  • Страница 12
  • Страница 13
  • Страница 14
  • Страница 15
  • Страница 16
  • Страница 17
  • Страница 18
  • Страница 19
  • Страница 20
  • Страница 21


Поделитесь с Вашими друзьями:


База данных защищена авторским правом ©nethash.ru 2017
обратиться к администрации

войти | регистрация
    Главная страница


загрузить материал