В = F(AW),(7.2)

где В - вектор выходных сигналов нейронов слоя 2, А - вектор выходных сигналов нейронов слоя 1, W - матрица весов связей между слоями 1 и 2, F - функция активации.

Аналогично

A = F(BWt)(7.3)

где W* является транспозицией матрицы W.

Как отмечено в гл. 1, Гроссберг показал преимущества использования сигмоидальной (логистической) функции активации

OUT, =-1-(7.3)

1 1 + exp(-XNET;)

где OUT; - выход нейрона i, NET; - взвешенная сумма входных сигналов нейрона i, X -константа, определяющая степень кривизны.

В простейших версиях ДАП значение константы X выбирается большим, в результате чего функция активации приближается к простой пороговой функции. В дальнейших рассуждениях будем предполагать, что используется пороговая функция активации.

Примем также, что существует память внутри каждого нейрона в слоях 1 и 2 и что выходные сигналы нейронов изменяются одновременно с каждым тактом синхронизации, оставаясь постоянными между этими тактами. Таким образом, поведение нейронов может быть описано следующими правилами:

OUT;(n+1) = 1, если NETi(n)>0,

OUT;(n+l) = 0, если NET,(n)<0,

OUT,(n+l) = OUT(n), если NET,(n) = 0,

где OUT;(n) представляет собой величину выходного сигнала нейрона i в момент времени п.

Заметим, что как и в описанных ранее сетях слой 0 не производит вычислений и не имеет памяти; он является только средством распределения выходных сигналов

слоя 2 к элементам матрицы

ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ

Долговременная память (или ассоциации) реализуется в весовых массивах W и Каждый образ состоит из двух векторов: вектора A, являющегося выходом слоя 1,

и вектора B, ассоциированного образа, являющегося выходом слоя 2. Для восстановления ассоциированного образа вектор A или его часть кратковременно устанавливаются на выходах слоя 1. Затем вектор A удаляется и сеть приводится в стабильное состояние, вырабатывая ассоциированный вектор B на выходе слоя 2. Затем

вектор B воздействует через транспонированную матрицу Wt, воспроизводя воздействие исходного входного вектора A на выходе слоя 1. Каждый такой цикл вызывает уточнение выходных векторов слоя 1 и 2 до тех пор, пока не будет достигнута точка стабильности в сети. Эта точка может быть рассмотрена как резонансная, так как вектор передается обратно и вперед между слоями сети, всегда обрабатывая текущие выходные сигналы, но больше не изменяя их. Состояние нейронов представляет собой кратковременную память (КП), так как оно может быстро изменяться при появлении другого входного вектора. Значения коэффициентов весовой матрицы образуют долговременную память и могут изменяться только на более длительном отрезке времени, используя представленные ниже в данном разделе методы.

В работе [9] показано, что сеть функционирует в направлении минимизации функции энергии Ляпунова в основном таким же образом, как и сети Хопфилда в процессе сходимости (см. гл. 6). Таким образом, каждый цикл модифицирует систему в направлении энергетического минимума, расположение которого определяется значениями весов.

Рис. 7.2. Энергетическая поверхность двунаправленной ассоциативной памяти

Этот процесс может быть визуально представлен в форме направленного движения мяча по резиновой ленте, вытянутой над столом, причем каждому

запомненному образу соответствует точка, «вдавленная» в направлении поверхности стола. Рис. 7.2 иллюстрирует данную аналогию с одним запомненным образом. Данный процесс формирует минимум гравитационной энергии в каждой точке, соответствующей запомненному образу, с соответствующим искривлением поля притяжения в направлении к данной точке. Свободно движущийся мяч попадает в поле притяжения и в результате будет двигаться в направлении энергетического минимума, где и остановится.

КОДИРОВАНИЕ АССОЦИАЦИЙ

Обычно сеть обучается распознаванию множества образов. Обучение производится с использованием обучающего набора, состоящего из пар векторов A и B. Процесс обучения реализуется в форме вычислений; это означает, что весовая матрица вычисляется как сумма произведении всех векторных пар обучающего набора. B символьной форме

Предположим, что все запомненные образы представляют собой двоичные векторы. Это ограничение покажется менее строгим, если вспомнить, что все содержимое Библиотеки Конгресса может быть закодировано в один очень длинный двоичный вектор. В работе [11] показана возможность достижения более высокой производительности при использовании биполярных векторов. При этом векторная компонента, большая чем 0, становится +1, а компонента, меньшая или равная 0, становится -1.

Предположим, что требуется обучить сеть с целью запоминания трех пар двоичных векторов, причем векторы A; имеют размерность такую же, как и векторы В;. Надо отметить, что это не является необходимым условием для работы алгоритма; ассоциации могут быть сформированы и между векторами различной размерности.

W = £ A * B

Исходный вектор

Ассоциированный вектор

Бинарная версия

A1 = (1,0,0) A2 = (0,1,0) Аз = (0,0,1)

B1 = (0,0,1) B2 = (0,1,0) Вз = (1,0,0)

A1 = (1,-1,-1) A1 = (-1,1,-1) A1 = (-1,-1,1)

В1 = (-1,-1,1) В1 = (-1,1,-1) В1 = (1,-1,-1)

Вычисляем весовую матрицу

W = A В1 + A21 В2 + A31 Вз