Начало 80-х годов ознаменовало собой новый виток интереса к
искусственным нейронным сетям. что
связано с энергетическим подходом Хопфилда [4] и алгоритмом обратного
распространения для обучения многослойного перцептрона (многослойные сети
прямого распространения), базовый алгоритм был изложен в диссертации Пола
Вербоса (Paul Werbos) 1974 года [5], но тогда не привлек к себе должного
внимания. Рождение алгоритма back-propagation (обратного распространения
ошибки) для широкой публики связано с работой группы PDP (Parallel Distributed
Processing), освещенной в двухтомном труде 1986г. Именно там, в статье
Румельхарта, Хинтона и Уильямса [6] была изложена теория обучения многослойного
персептрона.
Также стоит упомянуть о работах Тео Кохонена и Стефена Гроссберга. Самоорганизующиеся
карты Кохонена (SOM) [7] обладают благоприятным свойством сохранения топологии,
которое воспроизводит важный аспект карт признаков в коре головного мозга
высокоорганизованных животных. В отображении с сохранением топологии близкие
входные примеры возбуждают близкие выходные элементы. По существу она
представляет собой двумерный массив элементов, причем каждый элемент связан со
всеми n входными узлами.
Такая сеть является специальным случаем сети, обучающейся методом
соревнования, в которой определяется пространственная окрестность для каждого
выходного элемента. Локальная окрестность может быть квадратом, прямоугольником
или окружностью. Начальный размер окрестности часто устанавливается в пределах
от 1/2 до 2/3 размера сети и сокращается согласно определенному закону
(например, по экспоненциально убывающей зависимости). Во время обучения
модифицируются все веса, связанные с победителем и его соседними элементами.
Самоорганизующиеся карты Кохонена могут быть использованы для
проектирования многомерных данных, аппроксимации плотности и кластеризации. Эта
сеть успешно применялась для распознавания речи, обработки изображений, в
робототехнике и в задачах управления. Параметры сети включают в себя
размерность массива нейронов, число нейронов в каждом измерении, форму
окрестности, закон сжатия окрестности и скорость обучения.