Дипломная работа



Pdf просмотр
страница1/3
Дата24.04.2017
Размер0.66 Mb.
Просмотров233
Скачиваний1
ТипДипломная работа
  1   2   3

Московский государственный университет имени М. В. Ломоносова
Факультет вычислительной математики и кибернетики
Кафедра математических методов прогнозирования
ЗИННУРОВА Эльвира Альбертовна
Управление динамическим объектом с использованием нейрокомпьютерного интерфейса
ДИПЛОМНАЯ РАБОТА
Научный руководитель:
к.ф.-м.н., доцент
С.И. Гуров
Москва, 2015

Содержание
1
Введение
3 2
Постановка задачи
5 3
Нейрокомпьютерные интерфейсы
6 3.1
Используемое оборудование
6 3.2
Типы нейрофизиологических сигналов . . . . . . . . . . . . . . . . . . .
8 3.3
Нейрокомпьютерные интерфейсы на основе волн P300 . . . . . . . . . .
13 4
Методы обработки данных ЭЭГ
16 4.1
Предобработка . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16 4.2
Построение признакового пространства . . . . . . . . . . . . . . . . . . .
18 4.3
Классификация
24 4.4
Критерий качества . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
27 5
Проведение эксперимента
29 5.1
Парадигма эксперимента . . . . . . . . . . . . . . . . . . . . . . . . . . .
29 5.2
Схема эксперимента . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31 6
Предлагаемый подход
34 6.1
Предобработка . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
34 6.2
Отбор признаков . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35 6.3
Классификация
36 6.4
Тестирование . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
38 7
Результаты
39 7.1
Результаты с положением устройства по умолчанию . . . . . . . . . . .
39 7.2
Результаты с инверсированным положением устройства . . . . . . . . .
40 7.3
Обсуждение и выводы . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
40 8
Заключение
43
Список литературы
44 2

1
Введение
Нейрокомпьютерный интерфейс (англ. brain-computer interface, mind-machine interface, brain-machine interface, интерфейс «мозг-компьютер», зачастую исполь- зуется сокращение BCI) — специальный вид интерфейса, созданный для обмена информацией между мозгом и средствами вычислительной техники. Одной из задач,
стоящих перед исследователями, работающими в данной области, является создание устройств, которые позволят людям с утраченными способностями организма пол- ноценно взаимодействовать с окружающим миром.
В последние годы ведётся активная разработка различных практических при- ложений с использованием интерфейса «мозг-компьютер». Многие исследователь- ские группы по всему миру занимаются тематикой BCI, и в разработке многих направлений тематики имеются заметные успехи, однако до сих пор существует масса сложностей в практическом применении нейрокомпьютерного интерфейса.
Управление объектами реального мира может быть использовано в широком спектре областей, в частности, в медицине, развлекательной индустрии и пр.
Тем не менее, на сегодняшний день распознавание воображаемых движений является стандартной задачей, разработаны алгоритмы, практически безошибочно классифицирующие ментальные задания, однако построенные системы BCI сложно назвать приспособленными для использования с практической точки зрения.
Основной целью данной работы является разработка нейрокомпьютерного ин- терфейса для управления динамическим объектом в некотором направлении с использованием общедоступного коммерческого устройства Emotiv EPOC. Кроме того, в данной дипломной работе проводится обзор существующих систем BCI и распространённых подходов к решению подобного рода задач.
В первой главе даётся формальная постановка решаемой задачи.
Далее описано используемое в данной работе оборудование, перечислены типы нейрофизиологических сигналов и объяснены причины, благодаря которым стано- вится возможным решение поставленной задачи, а также обозначены имеющиеся на сегодняшний день проблемы при решении подобного рода задач.
3

Затем перечислены и описаны алгоритмы, наиболее часто применяемые при решении задач в области нейрокомпьютерных интерфейсов, а также представлены наиболее распространённые методы сравнения систем BCI.
После этого описывается процесс и методика получения данных в течение проводимых экспериментов, а также предлагаемый подход к распознаванию реги- стрируемых данных.
Далее представлены полученные результаты и проведено сравнение полученной точности с аналогичными исследованиями в данной области, а также приведены основные выводы, сделанные по результатам имевших место исследований.
4

2
Постановка задачи
Целью данной работы является разработка нейрокомпьютерного интерфейса для управления динамическим объектом в некотором направлении с использованием общедоступного коммерческого устройства Emotiv EPOC, предназначенного для регистрации активности головного мозга при помощи зафиксированных сенсоров.
Данное устройство подробно описано в разделе 3.1.
Пусть имеется N
e сенсоров, в моменты времени 1, 2, . . . , t, . . . i-ый сенсор фик- сирует значения x i
(t), i = 1, N
e
. Требуется определить класс регистрируемого в произвольный момент времени t сигнала, в частности, в данной работе в качестве классов выступают возможные направления движения курсора. Обычно полагают,
что многомерный сигнал разбит на отрезки фиксированной длины T , на протяжении каждого из которых класс сигнала остаётся неизменным. Везде далее будем придер- живаться данного предположения.
Дадим формальную математическую постановку задачи.
Имеется пространство объектов X ⊂ R
N
e
×T
, каждый из которых представ- ляет собой сигнал, зафиксированный при помощи N
e сенсоров, также называ- емых электродами, в течение периода времени T , и конечное множество имён классов Y. Существует целевая зависимость y

: X
→ Y, значения которой известны только на объектах обучающей выборки X
L
= {(x i
, y i
)}
L
i=1
, x i
∈ X ⊂
R
N
e
×T
, y i
= y

(x i
) ∈ Y, L – количество объектов обучающей выборки. Требуется построить алгоритм классификации a : X
→ Y, аппроксимирующий целевую зависимость y

(x) на всем множестве X в соответствии с некоторым введённым функционалом качества.
5

3
Нейрокомпьютерные интерфейсы
3.1
Используемое оборудование
Основной целью исследований в области нейрокомпьютерных интерфейсов явля- ется разработка систем, позволяющих обездвиженным пользователям обмениваться информацией и взаимодействовать с другими людьми, а также контролировать различные элементы их окружения. Кроме того, подобные системы могут быть использованы для улучшения контроля над сложными многозадачными операциями.
Нейрокомпьютерный интерфейс — средство коммуникации, транслирующее ак- тивность головного мозга в действия либо команды, исполняемые электронными устройствами. Фиксация подобного рода активности становится возможной вслед- ствие физико-химических процессов, лежащих в основе обмена веществ в нервной ткани, порождающих колебания потенциалов головного мозга. Несмотря на то что существует множество различных методов фиксации активности головного мозга
(электрокортикография
1
, электроокулография
2
и др.), в настоящее время основным способом регистрации сигналов головного мозга является электроэнцефалография.
Электроэнцефалография (ЭЭГ) — раздел электрофизиологии, изучающий зако- номерности суммарной электрической активности мозга, отводимой с поверхности кожи головы или мозга, а также метод записи таких потенциалов. Получение элек- троэнцефалограммы осуществляется с помощью специализированных устройств —
электроэнцефалографов. Существуют различные устройства для записи ЭЭГ, отли- чающиеся характеристиками, среди которых:
• характеристики принимающего сигнала (частота, уровень шума в сигнале);
• инвазивность (степень имплантирования электродов в кору головного мозга);
• количество электродов;
1
Электрокортикография — метод отведения потенциалов при помощи электродов, наклады- вающихся непосредственно на кору головного мозга. Потенциалы имеют на порядок большую амплитуду по сравнению с ЭЭГ, а также лучшее разрешение.
2
Электроокулография — исследование глазных мышц и наружного слоя сетчатки благодаря изменениям биопотенциалов во время движения глаза и стимуляции сетчатки, и переводу заре- гистрированных изменений в графическое представление.
6

• покрываемая площадь (среднее количество нейронов, влияющих на сигнал,
снимаемый одним электродом).
По инвазивности устройства делятся на погружные, частично-погружные и непогружные в зависимости от расположения электродов (электроды вживлены в мозг/сращены с нервами, находятся на поверхности мозга/рядом с нервами или находятся на поверхности кожи головы соответственно).
Устройства с непогружным интерфейсом делятся на мокрые и сухие в зависи- мости от того, необходимо ли смачивание электродов проводящей жидкостью для осуществления контакта.
По типу электродов устройства делятся на пассивные и активные в зависимости от того, производится ли после снятия электродом сигнала его первичная обработка.
В настоящей работе для записи электроэнцефалограммы использовалось устрой- ство Emotiv EPOC. Это устройство было разработано австралийской компанией
Emotiv Systems, основанной в 2003 году. Данная компания входит в число трёх основных участников рынка потребительских устройств BCI наряду с компаниями
NeuroSky и OCZ, однако Emotiv EPOC имеет значительно большее число электродов,
чем устройства компаний-конкурентов, и незначительно более высокую стоимость.
Общий вид устройства изображён на рис. 1, устройство обладает следующими характеристиками:
• число сенсоров — 14;
• тип сенсоров — пассивные, мокрые;
• частота дискретизации — 128 Гц;
• способ связи — беспроводная радиосвязь;
• гироскопы — 2 шт.;
• инвазивность — непогружной.
Расположение сенсоров устройства в соответствии с системой размещения элек- тродов «10–20%»
3
изображено на рис. 2.
3
Система «10–20%» — стандартная система размещения электродов на поверхности головы,
рекомендованная Международной федерацией электроэнцефалографии и клинической нейрофи- зиологии. Подробное описание данной системы может быть найдено в [10].
7

Рис. 1. Emotiv EPOC — устройство, используемое для записи данных ЭЭГ.
Устройство Emotiv EPOC было использовано в силу своей простоты и доступно- сти. Также достоинствами данного устройства являются портативность и небольшие размеры. В то же время оно обладает и рядом недостатков, среди которых низкая точность снимаемого сигнала и ненадёжная фиксация устройства на голове человека.
В рамках настоящей работы будет предпринята попытка купировать недостатки устройства применяемыми методами обработки и классификации сигналов.
3.2
Типы нейрофизиологических сигналов
Предполагается, что идеализированный нейрокомпьютерный интерфейс будет напрямую транслировать всякое намерение пользователя и подавать управляемому устройству сигнал о выполнении соответствующего действия. Однако установление однозначного соответствия между намерениями пользователя и нейрофизиологиче-
8

Рис. 2. Расположение электродов на голове человека согласно международной систе- ме размещения электродов «10–20». Электроды устройства Emotiv EPOC выделены оранжевым цветом.
скими сигналами является нетривиальной задачей. На сегодняшний день данный факт является одной из основных причин ограниченности свободы действий в существующих системах BCI.
Для распознавания различных нейрофизиологических сигналов и возможности сопоставления подобного рода сигналов и подразумеваемых действий необходимо осознанное управление активностью головного мозга. В основном для достижения этой цели используются два подхода. При использовании первого подхода испыту- емые подвергаются воздействию набора стимулов нейрокомпьютерного интерфейса,
и контроль мозговой активности осуществляется путём концентрации на одном конкретном стимуле. Изменения нейрофизиологических сигналов в силу разли-
9
чий между стимулами называются вызванными потенциалами (англ. event-related potentials, ERPs). При использовании второго подхода управление мозговой активно- стью осуществляется путём выполнения определённого когнитивного (ментального)
задания, например, воображаемое представление определённого движения руки может явиться причиной изменения активности в соответствующей части скальпа.
1

. Вызванные потенциалы
Вызванный потенциал — электрическая реакция мозга на внешний раздражитель или на выполнение некоторого ментального задания. Потенциалы данного вида имеют место в течение определённого промежутка времени после воздействия стимула.
Волны P300.
Волна P300 — положительное отклонение сигнала ЭЭГ, имеющее место приблизительно через 300 мс после воздействия стимула с малой вероятностью появления, описывающего некоторое действие. Для порождения подобного рода волн испытуемому требуется пронаблюдать последовательность двух типов стимулов.
Первый тип стимулов (т.н. целевые стимулы) имеет малую вероятность появления в последовательности стимулов, в отличие от другого типа стимулов (т.н. нецелевые стимулы). Таким образом, в момент предъявления целевого стимула может быть зафиксирована мозговая активность, содержащая волны P300. Данное явление проиллюстрировано на рис. 3 для данных одного из сенсоров. Данный принцип был применен в системе BCI, разработанной в исследовании [1]. В данном исследовании было описано устройство для набора текста. На экране изображалась таблица доступных для набора символов, строки и столбцы которой выделялись в случай- ном порядке, в качестве целевого стимула выступало выделение столбца/строки с желаемым на данный момент символом, в качестве нецелевых стимулов – выделение остальных столбцов/строк.
Визуальные вызванные потенциалы.
Визуальные вызванные потенциалы
(англ. Steady-State Visual Evoked Potentials, SSVEPs) — осцилляции, имеющие место в данных, полученных при помощи сенсоров, расположенных на затылке. Данные изменения могут быть результатом наблюдения однородного процесса, повторяю-
10

Рис. 3. Данные сенсора O1, зарегистрированные при предъявлении целевого и нецелевого стимулов.
щегося с малой частотой. Подобного рода стимуляция порождает колебания той же частоты в регистрируемых сигналах головного мозга. В исследованиях по тематике нейрокомпьютерных интерфейсов потенциалы этого типа используются при одновременной демонстрации стимулов с разной частотой. Таким образом,
пользователь путём концентрации на конкретном стимуле имеет возможность выбора действия, соответствующего данному стимулу.
Моторные вызванные потенциалы.
Моторные вызванные потенциалы (англ.
motor-related potentials, MRPs) — продолжительные отрицательные потенциалы, свя- занные с ожиданием или ментальным представлением выполняемого движения или действия, имеют место в сенсомоторной части скальпа в начале выполнения движения или в процессе ментального представления движения.
11

2

. Частотная мозговая активность
В электроэнцефалограмме здорового человека выделяют несколько характерных составляющих электрических колебаний, называемых ритмами, различающихся частотным диапазоном, а также амплитудой, формой волны и другими характе- ристиками. Считается, что каждый ритм соответствует некоторому определённому состоянию мозга и связан с определёнными церебральными механизмами, а потому выделение ритмов, представляющих интерес, исходя из априорных знаний, может быть использовано для декодирования намерений пользователя.
Ритм
Частота (Гц)
δ-ритм
1-4
θ-ритм
4-7
α-ритм
7-13
β-ритм
13-30
γ-ритм
30+
Таблица 1. Частотные полосы наиболее изученных ритмов ЭЭГ.
Сенсомоторные ритмы.
Колебания µ-ритма могут быть обнаружены в сенсо- моторной части скальпа, когда пользователь находится в состоянии покоя. Если же выполняется некоторое фиксированное движение или ментальное представле- ние данного движения, амплитуда колебаний уменьшается. Кроме того, подобные действия также порождают изменения в амплитуде β-ритма. Изменения данных ритмов отражаются на части скальпа, отвечающей перемещаемой части тела, в связи с этим представляемые и выполняемые движения различных частей тела могут быть отличимы друг от друга.
Имеющие место изменения мозговой активности для пользователей с небольшим опытом использования нейрокомпьютерных интерфейсов обычно оказываются недо- статочно весомыми для адекватного функционирования распознающих алгоритмов.
Кроме того, используемое в данном исследовании устройство не покрывает часть
12
скальпа, отвечающую за генерацию волн, связанных с подобного рода событиями. В
связи с этим в дальнейшем данный подход не будет рассматриваться.
Прочая активность.
В качестве триггеров возникновения колебаний потенциалов могут быть использованы когнитивные задания, отличные от представления дви- жений, например, вычисления, слуховые представления, представление движения трёхмерного объекта в пространстве и др.
3.3
Нейрокомпьютерные интерфейсы на основе волн P300 1

. Вызванные потенциалы и волны P300
Волны P300 были впервые отмечены в исследовании [2] в 1965 году. С тех пор имело место множество исследований по изучению природы этих колебаний путём изменения различных характеристик проводимых экспериментов, таких как способ демонстрации стимула, пол, возраст испытуемых, наличие заболеваний и пр.
Существуют исследования, описывающие подходы к управлению динамическим объектом при помощи моторных и визуальных вызванных потенциалов, однако в рамках данной работы в качестве объектов для принятия решения будут выступать волны P300, поскольку используемое оборудование не покрывает участок скальпа,
отвечающий за моторные вызванные потенциалы, а визуальные вызванные потенци- алы были сочтены не соответствующими поставленной задаче с практической точки зрения.
Различные парадигмы могут быть использованы для выявления волн P300. В
качестве стимулов могут быть использованы слуховые, визуальные, тактильные, обо- нятельные, вкусовые стимулы. Тем не менее, чаще всего используются визуальные и слуховые стимулы, а также их сочетания, поскольку данные типы являются лучшим выбором с практической точки зрения. В основном в большинстве исследований применяются две парадигмы проведения экспериментов: оригинальная (англ. oddball paradigm) и трёхстимульная (англ. three-stimulus paradigm).
Оригинальная парадигма подразумевает использование двух типов стимулов
(целевых и нецелевых), демонстрируемых в произвольном порядке, причём демон-
13
страция целевого стимула является гораздо более редким событием по сравнению с демонстрацией нецелевого стимула. Испытуемымому же необходимо концентри- роваться исключительно на целевом стимуле и игнорировать появление нецелевых стимулов.
Трёхстимульная парадигма является модификацией оригинальной парадигмы.
В данном случае помимо описанных типов стимулов также присутствуют т.н. отвле- кающие стимулы, редко появляющиеся в последовательности целевых и нецелевых стимулов. Испытуемые не информируются о наличии подобного рода стимулов в процессе инструктажа.
При использовании описанных парадигм наблюдаются различные типы волн P300.
Применение оригинальной парадигмы позволяет обнаружить т.н. волны P3b, имею- щие место приблизительно в течение 300-500 мс после воздействия целевого стимула при концентрации на таковом. При использовании же трёхстимульной парадигмы це- левой стимул также порождает волны P3b, при этом отвлекающий стимул порождает другой тип волны P300, называемый волной P3a, имеющей место приблизительно в течение 200–400 мс после воздействия стимула. Характер возникновения волн каждого из описанных типов в процессе проведения эксперимента с использованием различных парадигм изображен на рис. 4.
2

. Влияние различных факторов на волны P300
Кроме влияния различных экспериментальных парадигм, упомянутых выше,
волны P300 также подвержены влиянию многих других факторов [14] [15] [16],
перечисленных ниже.
Вероятность появления целевого стимула.
Амплитуда волны P3b обратно пропорциональна вероятности появления целевого стимула: редкое появление целе- вого стимула порождает высокий пик волны, в то время как высокая вероятность появления стимула слабо отражается на сигнале. В основном при проведении экспериментов вероятность появления данного типа стимулов полагается примерно равной 10% для более надёжного выявления волн P300. Кроме того, на амплитуду волны P3b также влияет локальная вероятность появления целевого стимула.
14
а)
б)
Рис. 4. Оригинальная (а) и трёхстимульная (б) парадигмы проведения экспериментов с порождением волн P300.
Межстимульный интервал.
Амплитуда волны P3b прямо пропорциональна продолжительности межстимульного интервала (периода времени между двумя последовательными воздействиями стимулов).
Привыкание.
Амплитуда волны P3a снижается с течением времени, поскольку из-за воздействия большого количества отвлекающих стимулов данное событие становится ожидаемым для испытуемого. В то же время амплитуда волны P3b практически не подвержена влиянию этого фактора.
Степень концентрации.
Амплитуда волны P3b в большой мере зависит от сте- пени концентрации пользователя. Более детально, волны P3b полностью исчезают,
если пользователь не вовлечен в активное выполнение заданий. В то же время волны
P3a не подвержены влиянию данного фактора.
Сложность заданий.
Латентность волны P3b прямо пропорциональна сложности выполняемого задания, в то время как амплитуда обратно пропорционально этой величине. К примеру, целевые стимулы, сильно отличающиеся от нецелевых, ведут к более высокой амплитуде волны P3b по сравнению со случаем слабых отличий между целевыми и нецелевыми стимулами. Другой эффект наблюдается для волн
P3a. Повышение сложности задачи по разделению целевых и нецелевых стимулов в трёхстимульной парадигме ведёт к повышению амплитуды волн P3a.
15

4
Методы обработки данных ЭЭГ
После получения данных при помощи электроэнцефалографа необходимо приме- нение алгоритма, позволяющего определить желаемое для пользователя действие.
Входными данными для этого алгоритма являются сигналы ЭЭГ, регистрируемые в процессе демонстрации стимулов. В большинстве существующих на текущий момент исследований по данной тематике задача классификации сигналов разбивается на три большие подзадачи:
(1) предобработка сигнала (в целях удаления шумовых компонент); (2) формирование признакового пространства и (3) классификация объектов в построенном признаковом пространстве. Необходимо отметить, что наибольшее влияние на итоговое качество классификации оказывает влияние то,
насколько успешно была решена задача формирования признакового пространства.
Общая схема работы нейрокомпьютерных интерфейсов представлена на рис. 5.
Рис. 5. Общая схема работы нейрокомпьютерных интерфейсов.
4.1
Предобработка
Предобработка сигнала проводится с целью удаления артефактов (спонтанные сокращения мышц, моргание и т. п.), а также нейтрализации имеющихся шумовых компонент. Кроме того, зачастую интересующая информация содержится в опреде- лённом диапазоне частот, а остальные компоненты являются малоинформативными.
16

1

. Удаление постоянного амплитудного смещения
Постоянное амплитудное смещение (англ. direct current offset, DC offset, посто- янное смещение потока) — отклонение волновой формы относительно оси нулевого уровня сигнала. Амплитудное смещение, наблюдаемое в электроэнцефалограмме,


Поделитесь с Вашими друзьями:
  1   2   3


База данных защищена авторским правом ©nethash.ru 2017
обратиться к администрации

войти | регистрация
    Главная страница


загрузить материал