Пособие по дисциплине нейроинформационные технологии шайдуров Александр Алексевич



страница1/16
Дата27.10.2016
Размер0.77 Mb.
Просмотров1072
Скачиваний1
ТипПособие
  1   2   3   4   5   6   7   8   9   ...   16
Учебное пособие по дисциплине

НЕЙРОИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

Шайдуров Александр Алексевич

Пособие предназначено для магистров направления «Информатика и вычислительня техника»

Оглавление


Глава 1. Интеллектуальные системы и технологии. Исторический аспект 3

1.1.История создания интеллектуальных технологий 3

1.2.Нейроны, нейронные сети и нейрокомпьютеры 5

Глава 2. Основы теории искусственных нейронных сетей 12

2.1. Биологический нейрон и его математическая модель 12

2.2. Задача обучения ИНС 15

2.3. Однослойные и многослойные ИНС 17

2.4. Персептрон и задача его обучения 19

Глава 3. Многослойные ИНС и процедура обратного распространения ошибки 27

3.1. Многослойные сети с прямыми связями. 27

3.2. Теорема Арнольда-Колмогорова и результаты Хехт-Нильсена 31

3.3. Процедура обратного распространения ошибки. 34

Глава 4. Обучение без учителя 43

4.1. Метод обучения Хэбба 43

4.2.Алгоритм обучения Кохонена 45

Глава 5. ИНС Хопфилда и Хэмминга. Звезды Гроссберга и карты Кохонена 47

5.1 ИНС Хопфилда и Хемминга 47

5.2. Сети встречного распространения 51

Лабораторный практикум 60

Лабораторная работа №1. Освоение принципов создания и обучения нейронной сети на примере работы оболочки Neuropro. 60

Лабораторная работа №2. Простые нейронные сети. Персептрон 67

Лабораторная работа №3. Нейронные сети: обучение без учителя 78

Лабораторная работа №4. Алгоритм обратного распространения 82

Лабораторная работа №5. Сети Хопфилда и Хемминга 87

Список литературы: 93




Глава 1. Интеллектуальные системы и технологии. Исторический аспект

    1. История создания интеллектуальных технологий


Формирование искусственного интеллекта как науки произошло в 1956 году. Д. Маккарти, М. Минский, К. Шеннон и Н. Рочестер организовали двухмесячный семинар в Дартмуте для американских исследователей, занимающихся теорией автоматов, нейронными сетями, интеллектом. Хотя исследования в этой области уже активно велись, но именно на этом семинаре появились термин и отдельная наука – искусственный интеллект.

Одним из основателей теории искусственного интеллекта считается известный английский ученый Алан Тьюринг, который в 1950 году опубликовал статью «Вычислительные машины и разум» (переведенную на русский язык под названием «Может ли машина мыслить?»). Именно в ней описывался ставший классическим «тест Тьюринга», позволяющий оценить «интеллектуальность» компьютера по его способности к осмысленному диалогу с человеком.

Первые десятилетия развития искусственного интеллекта (1952-1969 гг.) были полны успехов и энтузиазма. А. Ньюэлл, Дж. Шоу и Г. Саймон создали программу для игры в шахматы на основе метода, предложенного в 1950 году К. Шенноном, формализованного А. Тьюрингом и промоделированного им же вручную. К работе была привлечена группа голландских психологов под руководством А. де Гроота, изучавших стили игры выдающихся шахматистов. В 1956 году этим коллективом был создан язык программирования ИПЛ1 – практически первый символьный язык обработки списков и написана первая программа «Логик-Теоретик», предназначенная для автоматического доказательства теорем в исчислении высказываний. Эту программу можно отнести к первым достижениям в области искусственного интеллекта.

В 1960 году этой же группой была написана программа GPS (General Problem Solver) – универсальный решатель задач. Она могла решать ряд головоломок, вычислять неопределенные интегралы, решать некоторые другие задачи. Результаты привлекли внимание специалистов в области вычислений, и появились программы автоматического доказательства теорем из планиметрии и решения алгебраических задач.

С 1952 года А. Самюэл написал ряд программ для игры в шашки, которые играли на уровне хорошо подготовленного любителя, причем одна из них научилась играть лучше, чем ее создатель.

В 1958 году Д. Маккарти определил новый язык высокого уровня Lisp, который стал доминирующим для искусственного интеллекта.

Первые нейросети появились в конце 50-х годов. В 1957 году Ф. Розенблаттом была предпринята попытка создать систему, моделирующую человеческий глаз и его взаимодействие с мозгом, – персептрон.

Первая международная конференция по искусственному интеллекту (IJCAI) состоялась в 1969 году в Вашингтоне.

В 1963 году Д. Робинсон реализовал метод автоматического доказательства теорем, получивший название «принцип резолюции», и на основе этого метода в 1973 году был создан язык логического программирования Prolog.

В США появились первые коммерческие системы, основанные на знаниях, – экспертные системы. Происходит коммерциализация искусственного интеллекта. Растут ежегодные капиталовложения и интерес к самообучающимся системам, создаются промышленные экспертные системы. Разрабатываются методы представления знаний.

Первая экспертная система была создана Э. Фейгенбаумом в 1965 году. Но до коммерческой прибыли было еще далеко. Лишь в 1986 году первая коммерческая система R1 компании DEC позволила сэкономить примерно 40 миллионов долларов за год. К 1988 году компанией DEC было развернуто 40 экспертных систем. В компании Du Pont применялось
100 систем, и экономия составляла примерно 10 миллионов в год.

В 1981 году Япония, в рамках 10-летнего плана по разработке интеллектуальных компьютеров на базе Prolog, приступила к разработке компьютера 5-го поколения, основанного на знаниях. 1986 год стал годом возрождения интереса к нейронным сетям.

В 1991 году Япония прекращает финансирование проекта компьютера 5-го поколения и начинает проект создания компьютера 6-го поколения – нейрокомпьютера.

В 1997 году компьютер «Дип Блю» победил в игре в шахматы чемпиона мира Г. Каспарова, доказав возможность того, что искусственный интеллект может сравняться с человеком или превзойти его в ряде интеллектуальных задач (пусть и в ограниченных условиях).

Огромную роль в борьбе за признание искусственного интеллекта в нашей стране сыграли академики А. И. Берг и Г. С. Поспелов.

В 1954-1964 гг. создаются отдельные программы и проводятся исследования в области поиска решения логических задач. Создается программа АЛПЕВ ЛОМИ, автоматически доказывающая теоремы. Она основана на оригинальном обратном выводе Маслова, аналогичном методу резолюций Робинсона. Среди наиболее значимых результатов, полученных отечественными учеными в 60-е годы, следует отметить алгоритм «Кора» М. М. Бонгарда, моделирующий деятельность человеческого мозга при распознавании образов. Большой вклад в становление российской школы искусственного интеллекта внесли выдающиеся ученые М. Л. Цетлин,


В. Н. Пушкин, М. А. Гаврилов, чьи ученики и явились пионерами этой науки в России.

В 1964 году предлагался метод автоматического поиска доказательства теорем в исчислении предикатов, получивший название «обратный метод Маслова».

В 1965-1980 гг. произошло рождение нового направления – ситуационного управления (в западной терминологии соответствует представлению знаний). Основателем этой научной школы стал профессор Д. А. Поспелов.

В Московском государственном университете в 1968 году В. Ф. Турчиным был создан язык символьной обработки данных РЕФАЛ.

Искусственный интеллект преследует множество целей. Одной из основных задач искусственного интеллекта является создание полного научного описания интеллекта человека, животного и машины и вычисление принципов, общих для всех троих. Моделирование разума необходимо для решения задач. К интеллектуальным задачам можно отнести все задачи, алгоритм нахождения которых неизвестен. Но, например, перебор всех возможных комбинаций также является алгоритмом. Применить его на практике, к сожалению, на современном уровне развития техники к большинству задач невозможно (современная ЭВМ не может сгенерировать все простые перестановки более чем 12-ти разных предметов, так как этих перестановок более 479 млн).

Комбинаторный взрыв, с которым столкнулись исследователи уже в ранних исследованиях, – пример этого. В таких случаях, когда незначительное увеличение входных данных задачи ведет к возрастанию количества повторяющихся действий в степенной зависимости, говорят о неполиномиальных алгоритмах, которые характеризуются тем, что количество операций в них возрастает в зависимости от числа входов по закону, близкому к экспоненте. Подобные алгоритмы решения имеет чрезвычайно большой круг задач, особенно комбинаторных проблем, связанных с нахожденим сочетаний, перестановок, размещений каких-либо объектов. Поэтому труднорешаемой (нерешаемой) задачей можно называть такую задачу, для которой не существует эффективного алгоритма решения. Экспоненциальные алгоритмы решений, в том числе и исчерпывающие, абсолютно неэффективны для случаев, когда входные данные меняются в достаточно широком диапазоне значений, следовательно, в общем случае считать их эффективными нельзя.

Эффективный алгоритм имеет не настолько резко возрастающую зависимость количества вычислений от входных данных, например ограниченно полиномиальную, то есть х находится в основании, а не в показателе степени. Такие алгоритмы называются полиномиальными, и, как правило, если задача имеет полиномиальный алгоритм решения, то она может быть решена на ЭВМ с большой эффективностью. К таким можно отнести задачи сортировки данных, многие задачи математического программирования и т.п.

Следовательно, современный компьютер не может выполнить решение полностью аналитически. Возможна замена аналитического решения численным алгоритмом, который итеративно (то есть циклически повторяя операции) или рекурсивно (вызывая процедуру расчета из самой себя) выполняет операции, шаг за шагом приближаясь к решению. Если число этих операций возрастает, время выполнения, а возможно, и расход других ресурсов (например, ограниченной машинной памяти), также возрастает, стремясь к бесконечности. Задачи, своими алгоритмами решения создающие предпосылки для резкого возрастания использования ресурсов, в общем виде не могут быть решены на цифровых вычислительных машинах, так как ресурсы всегда ограничены.

Решением подобных задач и занимается искусственный интеллект. Исследователи изучают процессы мышления, разумное поведение для того, чтобы найти методы решения подобных задач, так как человек в своей деятельности сталкивается с ними достаточно часто и успешно решает.

Хотя до сих пор многое задачи не решены, определенные достижения в этой области есть. Исследователи использовали различные подходы и методы, чтобы получить результат. В конце 50-х годов родилась модель лабиринтного поиска и появилась теория распознавания образов как следствие начала использования ЭВМ для решения невычислительных задач. Начало 60-х годов называют эпохой эвристического программирования, когда использовались стратегии действий на основе известных, заранее заданных эвристик. Эвристики позволяют сокращать количество рассматриваемых вариантов. В середине 60-х годов к решению задач стали активно подключать методы математической логики. С середины 70-х годов исследователи стали уделять внимание системам, основным на экспертных знаниях.

Такие системы применимы к слабоформализуемым задачам. Неформализованные задачи обычно обладают следующими особенностями:

ошибочностью, неоднозначностью, неполнотой и противоречивостью исходных данных;

ошибочностью, неоднозначностью, неполнотой и противоречивостью знаний о проблемной области и решаемой задаче;

большой размерностью пространства решения (то есть перебор при поиске решения весьма велик);

динамически изменяющимися данными и знаниями.



    1. Поделитесь с Вашими друзьями:
  1   2   3   4   5   6   7   8   9   ...   16


База данных защищена авторским правом ©nethash.ru 2017
обратиться к администрации

войти | регистрация
    Главная страница


загрузить материал