Исследование сходимости при прогнозировании нейронными сетями с обратной связью




Дата17.02.2017
Размер1.54 Mb.
Просмотров71
Скачиваний0

Исследование сходимости при прогнозировании нейронными сетями с обратной связью
61
Исследование сходимости при прогнозировании нейронными сетями с обратной связью
Н. П. Балдин baldin01@gmail.com
Исследуется зависимость скорости сходимости при прогнозировании временных рядов от параметров нейронной сети с обратной связью. В качестве модели нейронной сети исполь- зуется сеть Джордана. Предлагается проанализировать скорость сходимости в зависимости от выбора функции активации (сигмоидной, гиперболического тангенса), от числа нейро- нов в промежуточном слое и от ширины скользящего окна. Также разбирается способ повышения скорости сходимости при использовании обобщенного дельта-правила.
Ключевые слова
: машинное обучение, нейронные сети, сеть Джордана, градиентный спуск, обобщенное дельта-правило.
Введение
Первые в шаги в области нейронных сетей были сделаны В. Мак-Калохом
(W. MCculloch) и В. Питсом (W. Pitts). Они показали, что при помощи нейронных элементов можно реализовать исчисление любых логический функций [3]. В 1949 г.
Хебб (D. Hebb) предложил правило обучения, которое стало математической основой для обучения ряда нейронных сетей. В 1957—1962 гг. Ф. Розенблат (F. Rosenblatt) предложил и исследовал модель нейронной сети, которую он назвал персептроном. Она была попу- лярной до 1969 г., когда М. Минский (M. Minsky) и С. Пайперт (S. Pappert) опубликовали монографию [4], в которой были доказаны ограниченные возможности персептрона. В
1986 г. ряд авторов (D. Rumerhalt, G. Hinton, R. Williams) предложили алгоритм обрат- ного распространения ошибки для обучения многослойной нейронной сети [5].
Рекуррентные сети — нейронные сети, в которых выходы нейронных элементов после- дующих слоев имеют соединение с нейронами предшествующих слоев (Рис. 1). Выходное значение нейрона промежуточного слоя:
S
i
(t) =
n j=1
w ij
(t)x j
+
p k=1
u ki
(t)y k
(t
− 1) − T
i
,
где w ij
—весовой коэффициент между j-м нейроном входного и i-м нейроном промежу- точного слоев; p — число нейронов выходного слоя; u ki
— весовой коэффициент между k-м контекстным нейроном и i-м нейроном промежуточного слоя; T
j
—пороговое значение i-го нейрона промежуточного слоя; n — размерность входного вектора. Это приводит к возможности учета результатов преобразования нейронной сетью информации на преды- дущем этапе для обработки входного вектора на следующем этапе функционирования сети. Существует множество архитектур нейронных сетей [7, 6, 2, 1]. Для изучения сходи- мости в данной работе используется простейшая архитектура рекуррентной сети — сеть
Джордана, представленная в [1]. В качестве модельных данных используются тригономет- рические функции (периодический, зашумленный и апериодический временные ряды).
Постановка задачи
Дано: f i
: X
→ R, i = 1, ..., n — числовые признаки, w, x j
=
n i=1
f i
(x)w i
−w
0
— линейная комбинация признаков w
0
, w
1
, ..., w n
∈ R.
Машинное обучение и анализ данных, 2011. Т. 1, № 1.

62
Н. П. Балдин
Определение 1. Нейрон — вершина взвешенного ориентированного графа (нейронной сети).
Определение 2. Функция активации — оператор не ного преобразования входных дан- ных нейрона промежуточного слоя.
Совокупность известных значений временного ряда образуют обучающую выборку. Обо- значим ее размерность L. Архитектура нейронной сети: n входных нейронов (в дальней- шем, ширина окна), p нейронов промежуточного слоя, один выходной нейрон, характе- ризующий значение в момент времени n + 1. Требуется по известным значениям ряда определить значение в последующий момент времени.
Вычисляется среднеквадратичная ошибка.
E =
m i
(y i
− t i
)
2
,
где y i
— значение на i-м выходе, t i
— эталонное значение. Затем запускается алгоритм обратного распространения ошибки. Исследуется сходимость от числа нейронов в проме- жуточном слое, от функции активации, и ширины окна. Для этого нужно для каждого набора параметров найти число итераций алгоритма. Далее найдем оптимальный набор параметров для каждого временного ряда. Проанализируем один из способов ускорения сходимости.
Решение задачи
Описание архитектуры. Выходное значение j-го нейрона последнего слоя опреде- ляется по формуле
WVUT
PQRS
f
1
(t)
WVUT
PQRS
f j
(t)
WVUT
PQRS
f n
(t)
GFED
@ABC
T
S
1
(t)
S
h
(t)
S
H
(t)
F
1
F
h
F
H
GFED
@ABC
T
w
11
(t)
//
w
1h
(t)
‡
‡
‡
‡
++
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
w
1H
(t)
y y
y y
y y
''y y
y y
y y
y y
y y
y y
y y
y y
y y
y y
y y
y y
y y
y y
y y
w j
1
(t)
g g
g g
33
g g
g g
g g
g g
g g
g g
g g
g g
g g
g g
g g
g g
g g
g w
jh
(t)
//
w jH
(t)
‡
‡
‡
‡
++
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
w n
1
(t)
o o
o o
o o
77o o
o o
o o
o o
o o
o o
o o
o o
o o
o o
o o
o o
o o
o o
o o
o w
nh
(t)
g g
g g
33
g g
g g
g g
g g
g g
g g
g g
g g
g g
g g
g g
g g
g g
g w
nH
(t)
//
w
01
(t)
??
w
0h
(t)
::
w
0H
(t)
66
WVUT
PQRS
f n+1
WVUT
PQRS
f n+m u
11
(t)
GG
u
1h
(t)
DD
u
1H
(t)
>>
u m
1
(t)
II
u mh
(t)
GG
u mH
(t)
DD
F
1
F
m v
11
(t)
++
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
v
1m
(t)
q q
q
##q q
q q
q q
q q
q q
q q
q q
q q
v h
1
(t)
33
g g
g g
g g
g g
g g
g g
v hm
(t)
++
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
v
H
1
(t)
w w
;;w w
w w
w w
w w
w w
w w
w w
w w
v
Hm
(t)
33
g g
g g
g g
g g
g g
g v
01
(t)
GG
v
0m
(t)
AA
f n+1
(t)
f n+m
(t)
//
//
oo oo входной слой контекстный слой промежуточный слой выходной слой
Рис. 1.
Архитектура сети Джордана

Исследование сходимости при прогнозировании нейронными сетями с обратной связью
63
y j
(t) =
m i=1
v ij p
i
(t)
− T
j
,
где v ij
—весовой коэффициент между i-м нейроном промежуточного слоя и j-м нейроном выходного слоев. p i
(t)— выходное значение i-го нейрона промежуточного слоя; T
j
— поро- говое значение j-го нейрона выходного слоя.
Взвешенная сумма i-го нейрона промежуточного слоя определяется следующим образом:
S
i
(t) =
n j=1
w ij
(t)x j
+
p k=1
u ki
(t)y k
(t
− 1) − T
i
Тогда выходное значение i-го нейрона промежуточного слоя p i
(t) = F (S
i
(t)), где F
функция активации. В качестве F используется гиперболический тангенс или сигмои- дальная функция.
Алгоритм обучения. Алгоритм обратного распространения ошибок был предложен в [5] и является эффективным средством для обучения многослойных нейронных сетей.
Алгоритм обучения реккурентной сети в общем случае состоит из следующих шагов:
1. В начальный момент времени t = 1 все контекстные нейроны устанавливаются в нуле- вое состояние, т. е. их выходные значения равняются нулю.
2. Входной образ подается на сеть и происходит прямое распространение его в нейронной сети.
3. В соответствии с алгоритмом обратного распространения ошибки модифицируются весовые коэффициенты и пороговые значения нейронов.
4. Устанавливается t = t + 1 и осуществляется переход к шагу 2.
Определяется среднеквадратичная ошибка нейронной сети:
E =
1 2
j
(y j
− t j
)
2
,
где t j
— эталонное выходное значение j-го нейрона. Согласно методу градиентного спуска изменение весовых коэффициентов и порогов нейронной сети происходит по следующему правилу:
w ij
(t + 1) = w ij
(t)
− a
∂E
∂w ij
(t)
,
T
j
(t + 1) = T
j
(t)
− a
∂E
∂T
j
(t)
Ошибка j-го выходного слоя:
h j
= y j
− t j
Теорема 1. Для любого промежуточного слоя i ошибка i-го нейрона определяется ре- курсивным образом через ошибки нейронов следующего слоя j:
h i
=
m j=1
h j
F

(S
j
)w ij
,
где m — число нейронов следующего слоя по отношения к слою i; w ij
— вес между i-м и j-м нейронами различных слоев; S
j
— взвешенная сумма j-го нейрона.

64
Н. П. Балдин
Используя результаты данной теоремы, сформулированной и доказанной в [1], можно определить ошибки нейронов промежуточного слоя через ошибки нейронов следующего слоя по отношению к промежуточному слою.
Теорема 2. Производные среднеквадратичной ошибки по весовым коэффициентам и по- рогам нейронов для любых двух слоев i и j многослойной сети определяются следующим образом:
∂E
∂w ij
=
−h j
F

(S
j
)y j
;
∂E
∂T
j
= h j
F

(S
j
).
Следствие 1. Для минимизации среднеквадратичной ошибки сети весовые коэффици- енты и пороги нейронов должны изменяться с течением времени следующим образом w
ij
(t + 1) = w ij
(t)
− ah j
F

(S
j
)y j
;
T
j
(t + 1) = t j
(t) + ah j
F

(S
j
),
где a - скорость обучения. Доказательства можно посмотреть, например, в [1].
Обучение рекуррентной сети. Пусть среднеквадратичная ошибка одного входного объекта
E(t) =
1 2
(y(t)
− e)
2
, где e — эталонное значение для соответствующего входного объек- та. Для определения алгоритма обратного распространения ошибки найдем производные функции среднеквадратичной ошибки по настраиваемым параметрам сети. Тогда
∂E
∂v i
=
∂E
∂y
∂y
∂v i
= (y(t)
− e)p i
(t);
∂E
∂T
=
∂E
∂y
∂y
∂T
=
−(y(t) − e);
∂E
∂w ij
=
∂E
∂y
∂y
∂p i
∂p i
∂S
i
∂S
i
∂w ij
= (y(t)
− e)v i
F

(S
i
)x j
(t);
∂E
∂u li
=
∂E
∂y
∂y
∂p i
∂p i
∂S
i
∂S
i
∂u li
= (y(t)
− e)v i
F

(S
i
)y(t
− 1);
∂E
∂T
i
=
∂E
∂y
∂y
∂p i
∂p i
∂S
i
∂S
i
∂T
i
=
−(y(t) − e)v i
F

(S
i
),
где F

(S
i
) — производная функции активации промежуточного слоя
Недостатки алгоритма обратного распространения ошибки. Алгоритм обрат- ного распространения ошибки, в основе которого лежит градиентный метод, создает ряд проблем при обучении многослойных нейронных сетей. Существуют следующие пробле- мы:
— неизвестность выбора числа слоев и количества нейронных элементов в слое для мно- гослойной сети,
— медленная сходимость градиентного метода с постоянным шагом обучения,
— сложность выбора подходящей скорости обучения,
— невозможность отделения точек локального и глобального минимума (градиентный метод их не различает).
Способ повышения скорости обучения. В алгоритме обратного распространения ошибки чем больше параметр обучения a, тем больше корректировка весов и, следова- тельно, тем выше скорость обучения. Однако, в этом случае система может перейти в неустойчивое состояние. Простейшим способом повышения скорости обучения без потери устойчивости является добавление зависимости текущего изменения весов от изменений весов на предыдущих шагах алгоритма с какими-то коэффициентами η (так называемое обобщенное дельта-правило).

Исследование сходимости при прогнозировании нейронными сетями с обратной связью
65
w ij
(t + 1) = w ij
(t) + η∆w ij
(t
− 1) − a
∂E(t)
∂w ij
(t)
,
где
∆w ij
(t
− 1) = η∆w ij
(t
− 2) − a
∂E(t−1)
∂w ij
(t−1)
Особенности обобщенного дельта-правила:
1. Текущее значение коррекции весов ∆w ij
(t) представляет собой сумму экспоненциально взвешенного ряда. Для того чтобы ряд сходился, постоянная η должна находиться в диапазоне 0 <
|η| < 1 (см. [7]). Она может быть и отрицательной, хотя это не рекомен- дуется на практике.
2. Если частная производная
∂E(t)
∂w ij
(t)
имеет один и тот же знак на нескольких последова- тельных итерациях , то экспоненциально взвешенная сумма ∆w ij
(t) возрастает по абсо- лютному значению, поэтому веса могут меняться на значительную величину(ускорение спуска).
3. Если частная производная
∂E(t)
∂w ij
(t)
на нескольких итерациях меняет знак, то экспоненци- ально взвешенная сумма ∆w ij
(t) уменьшается по абсолютной величине, поэтому веса w
ij
(t) меняются незначительно.
Вычислительный эксперимент
Данные. В качестве периодического, зашумленного и апериодического временных рядов используются модельные данные:
— y = 0.4 sin(5x) + 0.5,
— y = 0.2 sin(20x) + 0.3 cos(15x) + 0.1 cos(5x) + 0.3 sin(3x),
— y = 0.1x + 0.1 sin(x) + 0.05 cos(30x).
Размерность обучающей выборки — L, число признаков у объекта — n, число нейронов в промежуточном слое — p, функция активации — F , шаг обучения — a, минимум ошибки
— E
min
, коэффициент в обобщенном дельта-правиле —η.
Исследуются две функции активации (Рис. 2):
1. F (S) =
1 1+e

S
(сигмоидная),
2.
F (S) =
1−e

2S
1+e

2S
(гиперболический тангенс).
Результаты.
1. y = 0.4 sin(5x) + 0.5 (Рис. 3)
Минимум ошибки E
min
= 0.0001, шаг обучения a = 0.03. Размерность обучающей вы- борки L = 40 со значениями, равномерно расположенными на отрезке [0, 2π]. Результа- ты: Тaб. 1. Проиллюстрируем данные в таблице на графиках зависимости числа ите- раций от числа нейронов в промежуточном слое для каждой ширины окна (рис. 4). На графиках 4, 6 наблюдаем уменьшение числа итераций при увеличении числа нейронов промежуточного слоя. Результаты работы алгоритма при n = 15, p = 15, F (S) =
1−e

2S
1+e

2S
и числе выходных нейронов 5 — Рис. 7.
2. y = 0.2 sin(20x) + 0.3 cos(15x) + 0.1 cos(5x) + 0.3 sin(3x)(Рис. 8).
Минимум ошибки E
min
= 0.0001, шаг обучения a = 0.03. Размерность обучающей выборки L = 40 со значениями, равномерно располеженными на отрезке [0, 2π]. Ре- зультаты: Таб. 2 Проиллюстрируем данные в таблице на графиках зависимости числа итераций от числа нейронов в промежуточном слое для каждой ширины окна (рис. 9).

66
Н. П. Балдин
Рис. 2.
Функции активации
Рис. 3.
График функции y = 0.4 sin(5x) + 0.5

Исследование сходимости при прогнозировании нейронными сетями с обратной связью
67
Таблица 1.
Число итераций и ошибка на контрольной выборке при прогнозировании временного ряда y = 0.4 sin(5x) + 0.5 в зависимости от параметров
Число нейронов промежуточного слоя p
3 6
9 12 15 3
146(0.0001)
81(0.031)
83(0.014)
95(0.013)
76(0.021)
44(0.002)
19(0.007)
27(0.0001)
21(0.002)
17(0.002)
6 626(0.000012)
159(0.00001)
120(0.0001)
85(0.007)
79(0.007)
31(0.002)
28(0.0009)
24(0.0005)
27(0.0004)
26(0.0005)
9 53(0.05)
82(0.01)
69(0.02)
66(0.016)
64(0.017)
Ширина
33(0.0002)
20(0.0009)
22(0.0012)
23(0.0001)
21(0.0002)
окна n
12 54(0.05)
67(0.02)
68(0.02)
62(0.02)
71(0.02)
18(0.004)
21(0.0024)
22(0.002)
22(0.0024)
21(0.0024)
15 42(0.06)
81(0.03)
72(0.03)
67(0.02)
67(0.02)
9(0.003)
11(0.001)
18(0.006)
7(0.0041)
8(0.003)
21 65(0.03)
105(0.03)
88(0.03)
89(0.02)
78(0.02)
21(0.003)
17(0.002)
16(0.002)
18(0.001)
16(0.005)
Рис. 4.
Результаты для функции y = 0.4 sin(5x) + 0.5 (ширина окна 3 - 7).

68
Н. П. Балдин
Рис. 5.
Результаты для функции y = 0.4 sin(5x) + 0.5(ширина окна 8 - 12).
Рис. 6.
Результаты для функции y = 0.4 sin(5x) + 0.5(ширина окна 13 - 17).

Исследование сходимости при прогнозировании нейронными сетями с обратной связью
69
Рис. 7.
Результаты для функции y = 0.4 sin(5x) + 0.5.
Рис. 8.
График функцииy = 0.2 sin(20x) + 0.3 cos(15x) + 0.1 cos(5x) + 0.3 sin(3x).

70
Н. П. Балдин
Таблица 2.
Число итераций и ошибка на контрольной выборке при прогнозировании временного ряда y = 0.2 sin(20x) + 0.3 cos(15x) + 0.1 cos(5x) + 0.3 sin(3x) в зависимости от параметров.
Число нейронов промежуточного слоя p
3 6
9 12 15 3
»2000
»2000
»2000
»2000
»2000
»2000
»2000
»2000
»2000
»2000 6
426(0.006)
358(0.007)
322(0.008)
225(0.01)
181(0.017)
98(0.006)
118(0.005)
102(0.005)
127(0.006)
124(0.005)
9 665(0.0003)
687(0.0002)
666(0.0002)
773(0.00009)
781(0.00005)
Ширина
190(0.0003)
191(0.0001)
186(0.0001)
187(0.0001)
185(0.0002)
окна n
12 427(0.0005)
411(0.0003)
390(0.0004)
405(0.0004)
421(0.0004)
99(0.00026)
117(0.00059)
105(0.0002)
106(0.0002)
93(0.00001)
15 559(0.00006)
537(0.00006)
540(0.00003)
560 (0.00002)
534(0.00001)
130(0.00005)
142(0.00005)
144(0.00005)
170(0.00006)
151(0.00005)
21 644(0.00004)
510(0.00005)
492(0.00003)
490 (0.000006)
517(0.0000001)
119(0.0001)
113(0.00005)
115(0.00004)
117(0.0002)
124(0.0003)
Рис. 9.
Результаты для функции y = 0.2 sin(20x) + 0.3 cos(15x) + 0.1 cos(5x) + 0.3 sin(3x) (ширина окна 5 - 9).

Исследование сходимости при прогнозировании нейронными сетями с обратной связью
71
Рис. 10.
Результаты для функции y = 0.2 sin(20x)+ 0.3 cos(15x)+ 0.1 cos(5x)+ 0.3 sin(3x) (ширина окна 9 - 14).
Рис. 11.
Результаты для функции y = 0.2 sin(20x)+ 0.3 cos(15x)+ 0.1 cos(5x)+ 0.3 sin(3x) (ширина окна 15 - 19).

72
Н. П. Балдин
Не удалось выявить зависимости числа итераций как от числа нейронов промежуточ- ного слоя, так и от ширины окна. Результаты работы алгоритма при n = 12, p = 15,
F (S) =
1−e

2S
1+e

2S
и числе выходных нейронов 5 — Рис. 12.
Рис. 12.
Результаты алгоритма для функции y = 0.2 sin(20x) + 0.3 cos(15x) + 0.1 cos(5x) +
+ 0.3 sin(3x).
3. y = 0.1x + 0.1 sin(x) + 0.05 cos(30x)(Рис. 13).
Минимум ошибки E
min
= 0.0001, шаг обучения a = 0.03. Размерность обучающей выборки L = 40 со значениями, равномерно располеженными на отрезке [0, 2π]. Ре- зультаты: Таб. 3 Проиллюстрируем данные в таблице на графиках зависимости числа итераций от числа нейронов в промежуточном слое для каждой ширины окна (рис. 14).
На графиках 14,15,16 видно, что при увеличении числа нейронов в промежуточном слое число итераций сначала убывало, затем возрастало. Результаты алгоритма при n = 15, p = 6, F (S) =
1−e

2S
1+e

2S
и числе выходных нейронов 5 — Рис. 17.
Для лучших (в смысле скорости сходимости) параметров каждой функции применим обоб- щенное дельта-правило c параметром η = 0.2 и сравним с первыми результатами (Таб. 4).
Заключение
В работе рассмотрена классическая архитектура рекуррентной нейронной сети с об- ратной связью (сеть Джордана), проанализированы на модельных данных зависимости скорости сходимости алгоритма обратного распространения ошибки от функций акти- вации, числа нейронов промежуточного слоя и ширины окна, исследовано обобщенное дельта-правило. Получены результаты:
— использование в качестве функции активации тангенциальной функции повышает ско- рость сходимости,
— большая размерность промежуточного слоя повышает скорость сходимости,

Исследование сходимости при прогнозировании нейронными сетями с обратной связью
73
Рис. 13.
График функции y = 0.1x + 0.1 sin(x) + 0.05 cos(30x).
Таблица 3.
Число итераций и ошибка на контрольной выборке при прогнозировании временного ряда y = 0.1x + 0.1 sin(x) + 0.05 cos(30x) в зависимости от параметров
Число нейронов промежуточного слоя p
3 6
9 12 15 3
»2000
»2000
»2000
»2000
»2000
»2000
»2000
»2000
»2000
»2000 6
»2000
»2000
»2000
»2000
»2000 687(0.00005)
703(0.0002)
636(0.0001)
786(0.00002)
653(0.0002)
8
»2000
»2000
»2000
»2000
»2000 720(0.00005)
827(0.0002)
811(0.0001)
825(0.00002)
831(0.0002)
Ширина
9
»2000
»2000
»2000
»2000
»2000
окна n
675(0.0003)
626(0.0001)
685(0.0002)
744(0.0004)
793(0.0002)
12 2591(0.0001)
2432(0.0002)
2260(0.0004)
2134(0.0001)
2128(0.0005)
392(0.00086)
412(0.00069)
424(0.0002)
489(0.0008)
471(0.0006)
15 2337(0.0001)
1994(0.00004)
2052(0.00003)
2026(0.00003)
2150(0.00005)
343(0.0004)
325(0.0006)
334(0.0005)
358(0.0006)
382(0.0006)
21 4057(0.00001)
2929(0.00003)
2972(0.00003)
2972(0.00005)
2999(0.00005)
539(0.0004)
501(0.0001)
548(0.0001)
529(0.00015)
567(0.0002)
Таблица 4.
Число итераций при использовании обобщенного дельта-правила в обучении сети.
первые обобщенное результаты дельта-правило y = 0.4 sin(5x) + 0.5 8(0.003)
6(0.04)
y = 0.2 sin(20x) + 0.3 cos(15x) + 0.1 cos(5x) + 0.3 sin(3x)
91(0.00001)
81(0.0004)
y = 0.1x + 0.1 sin(x) + 0.05 cos(30x)
325(0.0006)
276(0.0006)

74
Н. П. Балдин
Рис. 14.
Результаты для функции y = 0.1x + 0.1 sin(x) + 0.05 cos(30x) (ширина окна 6 - 10).
Рис. 15.
Результаты для функции y = 0.1x + 0.1 sin(x) + 0.05 cos(30x) (ширина окна 11 - 15).

Исследование сходимости при прогнозировании нейронными сетями с обратной связью
75
Рис. 16.
Результаты для функции y = 0.1x + 0.1 sin(x) + 0.05 cos(30x) (ширина окна 16 - 20).
Рис. 17.
Результаты алгоритма для функции y = 0.1x + 0.1sin(x) + 0.05cos(30x) (8600 итераций).

— применение обобщенного дельта-правила повышает скорость сходимости,
— не найдено зависимости между скоростью сходимости и шириной окна,
— для каждого временного ряда существует некий оптимальный выбор, максимизирую- щий скорость сходимости.
Необходимый для повторения вычислительного эксперимента код можно найти на сай- те:
https://mlalgorithms.svn.sourceforge.net/svnroot/mlalgorithms/FNNForecasting/
Литература
[1] В. Головко Нейронные сети: обучение, организация и применение, ИПРЖР, 2001.
[2] David MacKay Information Theory, Inference, and Learning Algorithms, 2003.
[3] W. S. McCulloch and W. Pitts A Logical Calculus of Ideas Immanent in Nervous Activity, Bulletin of Mathematical Biophysics, 1943, Vol.5, pp.115–133.
[4] M. Minsky and S. Papert Perceptrons: An Introduction to Computational Geometry, MIT Press,
1969.
[5] D. Rumelhart and G. Hinton and R. Williams Learning representations by back-propagating errors,
Nature, 1986, Vol.323, pp.533–536.
[6] К. Воронцов Лекции по искусственным нейронным сетям, 2009, p.20.
[7] С. Хайкин Нейронные сети, Вильямс, 2006.


Поделитесь с Вашими друзьями:


База данных защищена авторским правом ©nethash.ru 2017
обратиться к администрации

войти | регистрация
    Главная страница


загрузить материал