Нейронные сети, перцептроны, интеллектуальные системы

Информационные технологии на основе искусственного интеллекта и нейронных сетей активным образом проникают во все сферы жизни общества и становятся тем инструментом, с помощью которого успешно решаются вопросы эффективного применения интеллектуальных информационных технологий (ИИТ) и возможностей компьютерных систем при решении сложных прикладных задач.

Характерные особенности задач, решаемых на основе ИИТ: неполнота и неточность исходных данных о решаемой задаче; наличие недетерминизма в процессе поиска решения; высокая вычислительная сложность получения результатов. Перечисленные особенности не позволяют использовать для решения таких задач строгие алгоритмические методы и модели.

ИНС обладают следующими неоспоримыми и важными для практического использования преимуществами:

нейросети являются адаптивными самообучающимися системами, извлекающими на примерах информацию из реальных процессов, которые динамически промоделировать достаточно трудно, а зачастую, просто невозможно, т.к. они часто содержат значительный массив скрытых, неконтролируемых, неполных и зашумленных параметров и взаимных связей между ними;

их применение позволяет решать задачи, которые трудно или невозможно решить традиционными методами в силу отсутствия формализованных математических описаний процессов функционирования;

обладают ассоциативной памятью и в процессе работы накапливают и обобщают информацию, от чего эффективность их со временем возрастает;
их использование базируется на обучении нейросети для извлечения информации из опытных данных, что обеспечивает объективность результатов и повышает их надежность и достоверность;

предоставляют возможность распараллеливания вычислений и могут использоваться в реальном масштабе времени.

Для начала необходимо привести основные понятия и термины.

Ключевыми в данной статье являются интеллектуальные системы, формальные нейроны, нейронные сети, перцептон и его виды. Также нельзя не упомянуть вехи развития данной отрасли и основные имена.

Интеллектуальная система — это техническая или программная система, с интеллектуальной поддержкой, решающая задачи без участия человека, способная решать задачи, традиционно считающиеся творческими, принадлежащие конкретной предметной области, знания о которой хранятся в памяти такой системы. Структура интеллектуальной системы включает три основных блока — базу знаний, механизм вывода решений и интеллектуальный интерфейс.

Интеллектуальная информационная система
Экспертная система
Расчётно-логические системы
Гибридная интеллектуальная система
Рефлекторная интеллектуальная система

Искусственная нейронная сеть — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма.

ИНС представляют собой систему соединённых и взаимодействующих между собой простых процессоров (нейронов). Будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи.

Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумленных», частично искажённых данных. Искусственный нейрон — узел искусственной нейронной сети, являющийся упрощённой моделью естественного нейрона. Математически, искусственный нейрон обычно представляют, как некоторую нелинейную функцию от единственного аргумента — линейной комбинации всех входных сигналов. Данную функцию называют функцией активации или функцией срабатывания, передаточной функцией. Полученный результат посылается на единственный выход. Такие искусственные нейроны объединяют в сети — соединяют выходы одних нейронов с входами других. Имеет биологический прототип.

Перцептрон— математическая или компьютерная модель восприятия информации мозгом, предложенная Фрэнком Розенблаттом в 1957 году и впервые реализованная в виде электронной машины «Марк-1. Перцептрон стал одной из первых моделей нейросети, а «Марк-1» — первым в мире нейрокомпьютером. Перцептрон состоит из трёх типов элементов, а именно: поступающие от датчиков сигналы передаются ассоциативным элементам, а затем реагирующим элементам. Таким образом, перцептроны позволяют создать набор «ассоциаций» между входными стимулами и необходимой реакцией на выходе. Согласно современной терминологии, перцептроны могут быть классифицированы как искусственные нейронные сети: с одним скрытым слоем с пороговой передаточной функцией с прямым распространением сигнала

Многослойный перцептрон Розенблатта — перцептрон с дополнительными слоями элементов. Определение Розенблатта отличается от многослойного перцептрона и является более общим случаем по отношению к нему. Так как элементарный перцептрон уже обладал двумя слоями связей и тремя слоями элементов (нейронов), то такой перцептрон не считался многослойным, и многослойность подразумевалась только при наличии минимум четырёх слоёв элементов. Другое важное отличие состояло в том, что у Розенблатта необязательно все связи были обучаемые, часть из них могла быть случайно выбрана и фиксирована.

Обсуждая данную тему невозможно не упомянуть имена Уоррена Мак-Каллока и Уолтера Питса. Эти пионеры кибернетики заложили базу для последующего развития нейротехнологий. Их принципиально новые теоретические обоснования превратили язык психологии в конструктивное средство описания машины и машинного интеллекта. Одним из способов решения подобных задач было выбрано математическое моделирование человеческого мозга, для чего потребовалось разработать теорию деятельности головного мозга. Мак-Каллок и Питс являются авторами модели, согласно которой нейроны упрощенно рассматриваются как устройство, оперирующее двоичными числами. Заслуга Мак-Каллок и Питтса состоит в том, что их сеть из электронных «нейронов» теоретически могла выполнять числовые или логические операции любой сложности. Помимо это они сумели найти общий язык с мировой общественностью в вопросе о том, каким образом машины могли бы применять понятия логики и абстракции в процессе самообучения и самосовершенствования.

Также нельзя не вспомнить Джеффри Хинтона, который был одним из исследователей, предложивших использовать метод обратного распространения ошибки для тренировки многослойной нейронной сети. Вместе с Терри Сейновски изобрел машину Больцмана.

Основная идея метода состоит в распространении сигналов ошибки от выходов сети к её входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Несмотря на многочисленные успешные применения обратного распространения, оно не является универсальным решением. Больше всего неприятностей приносит неопределённо долгий процесс обучения. В сложных задачах для обучения сети могут потребоваться дни или даже недели, она может и вообще не обучиться. Причиной может быть одна из описанных ниже.

Машина Больцмана— вид стохастической рекуррентной нейронной сети. Машина Больцмана может рассматриваться как стохастическая генеративная сеть. Сеть названа машиной Больцмана в честь австрийского физика Людвига Больцмана, одного из создателей статистической физики.

Эта сеть использует для обучения алгоритм имитации отжига и оказалась первой нейронной сетью, способной обучаться внутренним представлениям, решать сложные комбинаторные задачи. Несмотря на это, из-за ряда проблем, машины Больцмана с неограниченной связностью не могут использоваться для решения практических проблем. Если же связность ограничена, то обучение может быть достаточно эффективным для использования на практике. В частности, из каскада ограниченных машин Больцмана строится так называемая глубокая сеть доверия.

Хотя возможности обучения машины Больцмана ограничены на практике, эти проблемы могут быть решены применением архитектуры ограниченной машины Больцмана В этой архитектуре связи существуют только между скрытыми и видимыми нейронами, но при этом отсутствуют между нейронами одного класса. Ограниченные машины Больцмана используются в сетях глубинного обучения.

Нейронные сети имеют высокий потенциал и широкую сферу применения. Всё больше специалистов развивают эту тему и решают с её помощью всё новые и новые задачи.