Пт. Мар 1st, 2024

Теоретические основы нейроматематики были заложены в начале 1940-х гг. Попытки построить машины, способные к ра­зумному поведению, были в значительной мере вдохновлены идеями «отца кибернетики» Норберта Винера, который писал в своей знаменитой работе «Кибернетика или управление и связь в животном и машине», что все машины, претендующие на «разум­ность», должны обладать способностью преследовать определен­ные цели и приспосабливаться, т.е. обучаться. Идеи Винера были применены Дж. Маккалохом и У. Питтсом, которые разработали собственную теорию деятельности головного мозга, основан­ную на предположении, что функционирование компьютера и мозга сходно. К главным результатам их работы относятся следу­ющие:

  • модель нейрона в виде простейшего процессорного элемен­та, который вычисляет значение переходной функции от скаляр­ного произведения вектора входных сигналов и вектора весовых коэффициентов;
  • конструкция нейронной сети для выполнения логических и арифметических операций;
  • предположение о том, что нейронная сеть способна обучать­ся, распознавать образы, обобщать полученную информацию.

В формализме Дж. Маккалоха и У. Питтса нейроны имеют пороговую функцию перехода из состояния в состояние. Каждый нейрон в сети определяет взвешенную сумму состояний всех дру­гих нейронов и сравнивает ее с порогом, чтобы определить свое собственное состояние.

Аппаратная реализация ИНС на основе пороговых элемен­тов, оперирующих двоичными числами, оказалась чрезвычайно трудной из-за высокой стоимости электронных элементов в то время. Самые совершенные системы тогда содержали лишь сот­ни нейронов, в то время как нервная система муравья содержит более 20 тыс.

Серьезное развитие нейрокибернетика получила в трудах американского нейрофизиолога Ф. Розенблата, который предло­жил свою модель нейронной сети в 1958 г. и продемонстрировал созданное на ее основе электронное устройство, названное пер-цептроном.

Ф. Розенблат ввел возможность модификации межнейронных связей, что сделало ИНС обучаемой. Первые перцептроны были способны распознавать некоторые буквы ла­тинского алфавита. Впоследствии модель перцептрона была зна­чительно усовершенствована, а наиболее удачным ее применени­ем стали задачи автоматической классификации.

Алгоритм обучения перцептрона включает следующие шаги.

  1. Системе предъявляется эталонный образ.
  2. Если результат распознавания совпадает с заданным, весо­вые коэффициенты связей не изменяются.
  3. Если ИНС неправильно распознает результат, то весовым коэффициентам дается приращение в сторону повышения каче­ства распознавания.

Теоретический анализ перцептрона, проведенный М. Мин­ским и С. Пейпертом, показал его ограниченные возможнос­ти, поскольку не всегда существует такая комбинация весовых коэффициентов, при которой заданное множество образов будет распознаваться правильно. Причина этого недостатка состоит в том, что однослойный перцептрон реализует линейную поверх­ность, разделяющую пространство эталонов, вследствие чего происходит неверное распознавание образов в случаях, когда за­дача не является линейно сепарабельной. Для решения таких проблем предложены модели многослойных перцептронов, спо­собные строить ломаную границу между распознаваемыми обра­зами. Несмотря на то что перцептрон Розенблата имел невысо­кие возможности обучения, разработка этой концепции при­влекла внимание исследователей к проблеме ИНС и привела к созданию более «разумных» интеллектуальных систем.

Многослойные сети. В многослойных сетях устанавливаются связи только между нейронами соседних слоев, как показано на рис. 1.1.

Рис.1.1. Схема многослойного перцептрона

Каждый элемент может быть соединен модифицируемой связью с любым нейроном соседних слоев, но между элементами одного слоя связей нет. Каждый нейрон может посылать выход­ной сигнал только в вышележащий слой и принимать входные сигналы только с нижерасположенного слоя.

Входные сигналы подаются на нижний слой, а выходной вектор сигналов опреде­ляется путем последовательного вычисления уровней активности элементов каждого слоя (снизу вверх) с использованием уже из­вестных значений активности элементов предшествующих слоев. При распознавании образов входной вектор соответствует набо­ру признаков, а выходной — распознаваемым образам. Скрытый слой (один или несколько) предназначен для отражения специфики знаний. В таких сетях обычно используются переда­точные сигмоидальные функции.

Структура нейронной сети определяется типом, например 25-10-5, т.е. двадцать пять узлов находится в первом слое, десять — в скрытом и пять — в выходном. Определение числа скры­тых слоев и числа нейронов в каждом слое для конкретной зада­чи является неформальной проблемой, при решении которой можно использовать эвристическое правило: число нейронов в сле­дующем слое в два раза меньше, чем в предыдущем.

Выше отмечалось, что простой перцептрон с одним слоем обучаемых связей формирует границы областей решений в виде гиперплоскостей. Двухслойный перцептрон может выполнять операцию логического И над полупространствами, образованны­ми гиперплоскостями первого слоя весов. Это позволяет форми­ровать любые выпуклые области в пространстве входных сигна­лов. С помощью трехслойного перцептрона, используя логичес­кое ИЛИ для комбинирования выпуклых областей, можно полу­чить области решений произвольной формы и сложности, в том числе невыпуклые и несвязные. То, что многослойные перцеп-троны с достаточным множеством внутренних нейроподобных элементов и соответствующей матрицей связей в принципе спо­собны осуществлять любое отображение вход-выход, отмечали еще М. Минский и С. Пейперт, однако они сомневались, что для таких процедур можно открыть мощный аналог процедуры обу­чения простого перцептрона. В настоящее время в результате возрождения интереса к многослойным сетям предложено не­сколько таких процедур. Одной из них является алгоритм обрат­ного распространения ошибки.

Рекуррентные сети. Они содержат обратные связи, благодаря которым становится возможным получение отличающихся зна­чений выходов при одних и тех же входных данных. Наличие рекуррентных нейронов позволяет ИНС накапливать знания в про­цессе обучения.

Рекуррентные сети (рис. 1.2) являются развитием модели Хопфилда на основе применения новых алгоритмов обучения, исключающих попадание системы в локальные минимумы на по­верхности энергетических состояний. Важной особенностью ре­куррентных сетей является их способность предсказывать суще­ствование новых классов объектов.

Рис. 1.2. Схема рекуррентной нейронной сети

Модель Хопфилда. Работы американского биофизика Дж. Хопфилда положили начало современному математическому моделированию нейронных вычислений. Ему удалось при­влечь к анализу нейросетевых моделей мощный математический аппарат статистической физики. В результате была сформулирована математическая модель ассоциативной памяти на нейрон­ной сети с использованием правила Д. Хебба для модификации весовых коэффициентов. Это правило основано на простом предположении: если два нейрона возбуждаются вместе, то сила связи между ними возрастает; если они возбуждаются порознь, то сила связи между ними уменьшается.

Сеть Хопфилда строится с учетом следующих условий:

  • • все элементы связаны со всеми;
  • лю, т. е. исключаются обратные связи с выхода на вход одного нейрона.

Для однослойной нейронной сети со связями типа «все ко всем» характерна сходимость к одной из конечного множества равновесных точек, которые являются локальными минимумами функции энергии, отражающей структуру всех связей в сети. Вве­денная Хопфиддом функция вычислительной энергии нейрон­ной сети описывает поведение сети через стремление к миниму­му энергии, который соответствует заданному набору образов. В связи с этим сети Хопфилда могут выполнять функции ассоциа­тивной памяти, обеспечивая сходимость к тому образу, в область притяжения которого попадает начальный паттерн (образец) ак­тивности нейронов сети.

Этот подход привлекателен тем, что нейронная сеть для кон­кретной задачи может быть запрограммирована без обучающих итераций. Веса связей вычисляются на основе вида функции энергии, сконструированной для решаемой задачи.

Развитием модели Хопфидда является машина Больцмана, предложенная и исследованная Дж. Е. Хинтоном и Р. Земелом для решения комбинаторных оптимизационных задач и задач искусственного интеллекта. В ней, как и в других моделях, нейрон имеет состояния (1,0), межнейронные связи представле­ны весовыми коэффициентами, а каждое состояние сети харак­теризуется определенным значением функции консенсуса (ана­лог функции энергии). Максимум функции консенсуса соответ­ствует оптимальному решению задачи.

Сети Хопфилда получили применение на практике в основ­ном как реализации подсистем более сложных систем. Они име­ют определенные недостатки, ограничивающие возможности их применения:

  • предположение о симметрии связей между элементами, без которой нельзя ввести понятие энергии;
  • нейронная сеть — это устройство для запоминания и обра­ботки информации, а не устройство минимизации энергии. Эко­номия энергии играет в этих процессах вспомогательную роль;
  • сети Хопфилда поддерживают множество лишних, неэф­фективных, иногда дублирующих друг друга связей. В реальных нервных системах такие связи не поддерживаются, так как их ре­ ализация требует определенных затрат. В биологических нерв­ных системах происходит освобождение от лишних связей за счет их структуризации. При этом вместо организации связей «всех ко всем» используется многослойная иерархическая систе­ма связей.

Самоорганизующиеся сети Т. Кохонена. Идея сетей с са­моорганизацией на основе конкуренции между нейронами бази­руется на применении специальных алгоритмов самообучения ИНС. Сети Кохонена обычно содержат один (выходной) слой обрабатывающих элементов с пороговой передаточной функци­ей. Число нейронов в выходном слое соответствует количеству распознаваемых классов. Настройка параметров межнейронных соединений проводится автоматически на основе меры близости вектора весовых коэффициентов настраиваемых связей к векто­ру входных сигналов в эвклидовом пространстве. В конкурент­ной борьбе побеждает нейрон, имеющий значения весов, наибо­лее близкие к нормализованному вектору входных сигналов. Кроме того, в самоорганизующихся сетях возможна классифи­кация входных образцов (паттернов). На практике идея Кохоне­на обычно используется в комбинации с другими нейросетевы-ми парадигмами.

Ads Blocker Image Powered by Code Help Pro

Обнаружен блокировщик рекламы! Пожалуйста, обратите внимание на эту информацию.

We\'ve detected that you are using AdBlock or some other adblocking software which is preventing the page from fully loading.

У нас нет баннеров, флэшей, анимации, отвратительных звуков или всплывающих объявлений. Мы не реализовываем эти типы надоедливых объявлений! Нам нужны деньги для обслуживания сайта, и почти все они приходят от нашей интернет-рекламы.

Пожалуйста, добавьте tehnar.info к вашему белому списку блокирования объявлений или отключите программное обеспечение, блокирующее рекламу.

Powered By
100% Free SEO Tools - Tool Kits PRO