Распознавание лиц на групповых фотографиях с



Скачать 417.93 Kb.
Pdf просмотр
Дата07.04.2017
Размер417.93 Kb.
Просмотров148
Скачиваний0

УДК 004.93’12, 004.93’14
РАСПОЗНАВАНИЕ ЛИЦ НА ГРУППОВЫХ ФОТОГРАФИЯХ С
ИСПОЛЬЗОВАНИЕМ АЛГОРИТМОВ СЕГМЕНТАЦИИ
А.И. Шерстобитов, В.П. Федосов, В.А. Приходченко, Д.В. Тимофеев

FACE RECOGNITION ON GROUPS PHOTOS WITH USING SEGMENTATION
ALGORITHMS
A.I. Sherstobitov, V.P. Fedosov, V.A. Prihodchenko
В статье представлена модификация метода распознавания лиц на основе анализа главных компонент. Модификация включает в себя использование алгоритмов предварительного разделения изображения на фон и объекты (лица). Эффективность предложенной модификации исследуется на наборе баз тестовых изображений лиц ORL,
BioID и произвольно сформированном наборе групповых фотографий. Полученные результаты показывают увеличение эффективности распознавания лиц с использованием предварительных алгоритмов разделения изображения на фон и объекты распознавания.
In paper present modification of method face recognition on base PCA (eigenface). Modification involve using reprocessing image of matting algorithm. Results of research is exam on several base of images (ORL, BioID) and manual set of images of group peoples – UserID. Results of studies concluded that the use of image matting improves the robust of the system face recognition. The proposed algorithm allowed identify faces by image with single persons, and with group persons.
Ключевые слова: распознование образов, метод главных лиц, детектирование лиц, разделение изображения наобъект и фон, распознование, идентификация
Keywords: pattern recognition; eiganface; face detection; image matting; reognition; identification
Введение
Широкое использование систем цифровой регистрации фотографии и видео сигналов способствует к переходу на решения более сложных, комплексных задач. Современные системы цифровой обработки изображений и видео сигналов эволюционируют, как и круг решаемых ими задач - от фильтрации, улучшение качества, гамма коррекции, изменения динамического диапазона до адаптивной сегментации изображений, кластеризация на объекты, распознавание образов, автоматизированное структурное описание.
Использование автоматизированных систем распознавания образов находят все более широкое применение. Одной из наиболее часто решаемой задачей является реализация методов автоматизированного распознавания лиц, что является сложной комплексной задачей. Решение данной задачи находит
широкое применение в самых различных областях взаимодействия человека и машины: биометрия, системы безопасности, сопровождения и анализ активности и т.д.[1]. Методы распознавания лиц можно разделить на два класса: распознавание лиц на основе определения локальных особенностей лица и целостное (holistic) распознавание лиц [1]. Основу обоих классов распознавания лиц составляет метод главных компонент [2]. Использование метода главных компонент позволяет найти более значимые проекции векторов, которые содержат наиболее важную информацию о оригинальном изображении. Таким образом, изображения представляются набором основных его составляющих (дескрипторов), устраняя избыточность. В качестве инструмента определения компактного набора дескрипторов, однозначно описывающее оригинальное изображения может быть использованы различные инструменты: линейный дискриминантный анализ, методы вычисления моментов функции (LDA, LBP, Moments function и т.д. Fischerface) [1, 2]. Как правило, использование рассматриваемых методов применимо к многомерным сигналам (изображениям), содержащим только одно лицо на однородном фоне.
Использование данных методов для обработки групповых изображений людей крайне ограничено. В связи с этим, актуальным является решение задачи распознавания группы лиц на изображениях с текстурированным фоном.
Постановка задачи
Решение задачи распознавания лиц на изображении включает в себя несколько этапов.
Предполагается, что предварительная обработка изображения, связанная с устранением действующих помех и искажений, обусловленные трактом получения и передачи по канала связи выполнена [3].
Выдвигается гипотеза, что на изображении представлен человек с различимыми чертами лица. Как правило, его изображение представлено на окружающем фоне, который является не однородный (предметы интерьера или экстерьера). Первый этап системы распознавания лиц заключается в определении локальной области изображения лица человека по его
характерным признакам (цветовые составляющие, локальные особенности точек лица и их взаимное расположение, форма). Извлечение и оценка этих признаков лежит в основе целого класса алгоритмов, направленные на решение задачи детектировании лиц на статических изображениях и видеопоследовательностях [1, 2, 4-5].
Математическая модель наблюдаемого изображения I определяется следующим выражением [6]:
))
)
1
(
)(...
1
(
(
)
1
(
1 2
2 2
1 1
1
N
N
I
I
I
I















(1) где
N
I
I ,..,
1
- набор слоев изображения, разделенных с помощью альфа-каналов
 
1
,
0

N

, размерность
N
I
I ,..,
1
и
N

совпадают. Альфа-каналы
N

представляют собой маски, позволяющие выделять отдельные объекты сцены (рис. 1).
Рис. 1 – Разложение изображения на слои
Решением задачи распознавания лица на групповой цифровой фотографии является установление соответствия каждого
N
I
образа заданному изображению лица человека.

Решение задачи
Классическое решение задачи распознавания лиц человека включает в себя несколько этапов. На первом этапе выделяется лицо из общеq сцены изображения [4]. Второй этап заключается в нормализации (подгонка разрешения изображения, преобразование цветов, повороты изображений на определенный угол и т.п.). На третьем этапе обработки формируется вектор признаков лица на основе выбранного алгоритма (из класса интегральных методов или поиска локальных особенностей). Последним этапом является
применение классификатора, который в области векторов признаков осуществляет идентификацию лица [7]. На рис. 2 представлена классическая схема алгоритма распознавания лиц.
Рис. 2 – Блок-схема классического алгоритма распознавания лиц
Предлагается модифицировать схему, представленную на рис. 2, путем использования предварительного алгоритма разделения изображения на фон и объект (“matting”) c целью устранения текстурированного фона на изображении и что позволит итерационно получить разделение исходного изображения на слои (1) (рис. 3) [8, 9].
Рис. 3 – Блок-схема алгоритма распознавания лиц на групповой фотографии
Для локализации лиц на изображении, используется детектор лиц Виолы-
Джонса, так как имеет лучшее соотношение между эффективностью поиска лиц и необходимыми вычислительными затратами. Метод основывается на поиске локальных особенностей лица с помощью базисных функций Хаара [4].
Использование признаков
Хаара позволяет существенно снизить вычислительные затраты. Для выбора наиболее подходящих особенностей и обучения классификатора применяется алгоритм AdaBoost [7]. Последующей процедурой является нормализация изображения и выделение слоев, содержащие только лица людей, исключив влияние текстурированного фона.
Для этой цели используется метод классификации множества точек объекта и фона на изображении с помощью определения альфа-канала в канонической
форме («matting») [8, 9]. Исходная модель (1) для каждого слоя
N
I
рассматривается как:
*
)
1
(
i
i
i
i
I
I
I






,
N
i

. где
*
i
I
- рассматривается как фон, относительно текущего выделяемого слоя
i
I
Алгоритм выделения слоя основывается на предположении, что цвета пикселей в малых фрагментах изображений
*
i
I
и
i
I
являются линейной комбинацией цветов (лежат примерно на одной прямой в пространстве RGB). Для изображения I, представленного в градациях серого,
i

можно считать линейно зависящей от цвета в локальной области изображения [9]:
,
b
aI
i
i



w
i


,
(2) где
)
I
-
I
/(
I
),
I
-
I
/(
1
*
i i
*
i
*
i i



b
a
и
w
– локальное окно на изображении. Значения α, a и b минимизируют целевую функцию:
,
)
(
)
,
,
(
2 2
 














I
j
w
i
j
j
i
j
i
i
a
b
I
a
b
a
J



(3) где
j
w
– окно с центром в пикселе j.
Использование метода определения альфа-канала в канонической форме позволяет эффективно выделить объекты в группе лиц на текстурированном изображении без использования глубокой сегментации исходного изображения.
Для локализованных лиц на текстурированных изображениях используется их разложение на главные компоненты. Используется подход получения вектора признаков из класса глобальных методов распознавания
[10]. Суть метода главных компонент состоит в формировании матрицы Хm, которая состоит из всех примеров изображений лиц обучающего набора
(векторов X). Ковариационная матрица

набора Xm разлагается на собственные вектора и собственные значения:
C
C
T





,
(4) где С – матрица собственных векторов, Λ – диагональная матрица собственных чисел. Из С выбирается подматрица
M
C
, соответствующая М наибольшим собственным числам матрицы Λ. Преобразование:

X
C
Y
T
M

,
(5)
(где
X
X
X


- нормализованный вектор с нулевым математическим ожиданием), характеризует большую часть общей дисперсии и показывает самые значительные изменения Хm. Выбор первых М главных компонент разбивает векторное пространство на главное пространство
 
M
i
i
C
F
1


, содержащее главные компоненты, и его ортогональное дополнение
 
M
M
i
i
C
F
1



[10]. Процесс распознавания лиц на групповых фотографиях заключается в сравнении главных компонент тестируемого изображения лица с главными компонентами всех остальных изображений лиц в произвольной групповой фотографии на основе евклидовой метрики.

Экспериментальные исследования.
Для проведения всесторонних исследований построены
14 экспериментов, как на стандартных база изображений, так и на специально подготовленных наборах изображений. С целью проведения подробных исследований, в качестве первой тестовой базы изображений выбрана библиотека лаборатории ORL (AT&T), где изображения лиц представлены на однородном фоне в разрешении 92×112 пикселей [11]. База содержит изображения лиц 40 людей в 10 различных ракурсах. Изображения получены с различной освещенностью, положением головы и губ, с очками и без, открытыми, и закрытыми глазами. Второй тестовой базой изображений выбрана коллекция фотографий BioID [12], которая состоит из изображений 23 человека разрешением 384×286 в 10 различных ракурсах каждый. При этом основное отличие еѐ от ORL base является наличие фоновых объектов, т.е. представлено не только лицо человека, но и часть его тела, неоднородный задний фон. С целью получения адекватных оценок, база BioID имела несколько модификаций: ручное выделение только области лица человека на каждой фотографии (BioID(cut), рис. 4б), выделение области только лица
(BioID(cut+), рис. 4в) и автоматическое выделение области лица с помощью
matting алгоритма (BioID(matting), рис. 4г). Наряду со стандартными базами изображений, сформирована пользовательская база изображений UserID из произвольного набора групповых фотографий разрешения 512×321. В рамках исследований проведено 14 экспериментов, построенные по разным схемам распознавания (рис. 2-3). В качестве тестового лица поочередно перебирались все изображения, входящие в используемую базу изображений.
В экспериментах 1-8 представлены результаты распознавания лиц, при использовании различных вариантов представления лиц для последующей идентификации из базы BioID (рис. 4) с использованием классической схемы распознавания. В 9 эксперименте использовалась схема распознавания лиц рис.
3. Для реализации 10 эксперимента из изображений базы BioID была составлена общая групповая фотография из 180 изображений. Распознавание лиц осуществлялось по схеме рис. 3. Аналогичные эксперименты проведены на самостоятельно сформированной базе изображений UserID. При реализации 11 эксперимента в качестве тестового изображения использовалось автоматически предобработанное изображение, как это представлено на рис. 4. База изображений формировалась по произвольным групповым фотографиям, а, в общем, схема распознавания определялась схемой, представленной на рис. 3. В
12 эксперименте исходные данные аналогичны 11 эксперименту, при этом дополнительно используется информация о цвете. Эксперименты 13 и 14 проведены в соответствии с начальными условиями экспериментов 5 и 4 соответственно (пример изображений, извлекаемых из групповых фотографий соответствует рис. 4в и рис. 4г). Результаты идентификации лиц представлены в таблице 1.




а) б) в) г)
Рис. 4 – Изображения базы изображений BioID: а) BioID; б) BioID(cut); в) BioID(cut+); г) BioID(“matting”)

Численные значения правильного и ошибочного распознавания лиц в экспериментах 1 – 14 представлены в таблице 1 (

,

- величина правильного и ошибочного распознавания лиц, соответственно).
Таблица 1
Эксперимент
База лиц

, %

, %
Эксперимент 1
ORL
93,3 6,7
Эксперимент 2
BioID
99,47 0,53
Эксперимент 3
ORL и BioID
94, 75 5,25
Эксперимент 4
BioID(cut)
93,15 6,85
Эксперимент 5
BioID(cut+)
76,84 23,16
Эксперимент 6
ORL и BioID(cut)
90,75 9,25
Эксперимент 7
BioID(cut) и BioID(cut+)
19,47 80,53
Эксперимент 8
BioID(cut) и BioID
13 87
Эксперимент 9
BioID(“matting”)
82,63 17,36
Эксперимент 10
BioID(коллаж)
83,88 16,12
Эксперимент 11
Групповое фото (UserID)
62 38
Эксперимент 12 2 групповых фото(UserID)
57,1 42,9
Эксперимент 13
Групповое фото(UserID)
34 66
Эксперимент 14
Групповое фото(UserID)
42 58
Анализ результатов проведенных экспериментов показывает, что идентификация лиц по изображениям на однородном и неоднородном фоне
(эксперимент 1 и 2 соответственно) имеет схожие результаты, при этом наличие текстурированного фона способствует увеличению эффективности идентификации личности (Эксперимент 2). Эксперимент 3 отражает усредненный результат при использовании расширенной базы изображений
ORL & BioID. При исключении фона на изображениях (Эксперимент 4, 5) путем простого усечения (рис. 4б и 4в) не приводит к улучшению идентификации. Использование различных комбинаций этих изображений так же существенно снижает эффективности используемого алгоритма главных компонент (Эксперименты 6 – 8). Таким образом, исключение области фона простым прямоугольным ограничением изображении не приводит к
улучшению идентификации лиц. Использование предложенной схемы обработки (Эксперимент 9 и рис. 3) позволяет получить эффективность распознавания более 80%. Использование предложенного алгоритма (рис. 3) на групповой фотографии подтверждает эффективность предложенного подхода при обработке групповых фотографий (Эксперимент 10). При решении задачи распознавания лиц на базе UserID (Эксперимент 11) показывает удовлетворительные результаты. При этом условия проведения эксперимента
11 хуже, чем для эксперимента 10: групповые фотографии представлены на различных фонах, уровень освещенности и экспозиция существенно изменяются от изображения к изображению, но при этом процент распознавания остается не ниже 60%. Эксперименты 12 – 14 проведены при таких же начальных условиях, как эксперименты 2, 4, 5 соответственно и отражают общую тенденцию при реализации классической схемы распознавания и расширенной (рис. 2 с предварительным детектированием лиц).
Выводы
Предложен оригинальный алгоритм автоматизированного распознавания лиц на групповых фотографиях, позволяющий существенно расширить решение задачи идентификации. Использование предложенного алгоритма позволит структурировать информацию при обработке изображений лиц и осуществлять поиск и группировку фотографий заданного человека.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1.
Stan Z. Li, Anil K. Jain. Handbook of Face Recognition, Stan Z. Li, Anil K. Jain, Second
Edition, Springer, 2011, 699 p.
2.
Rabia Jafri, Hamid R. Arabnia, A Survey of Face Recognition Techniques. Journal of
Information Processing Systems – JIPS , vol. 5, no. 2, pp. 41-68, 2009.
3.
Махонин Г.М., Федосов В.П., Черниховская Г.Л. Обнаружение локационных объектов в сложных средах с поглощением./ Махонин Г.М., Федосов В.П., Черниховская Г.Л /
Радиотехника – М.: 2006. № 2. С. 90-95.
4.
Viola P., Jones M.J. Rapid object detection using a boosted cascade of simple features //
IEEE Conf. on Computer Vision and Pattern Recognition. – Kauai, Hawaii, USA, 2001. – V. 1. –
pp. 511–518.
5.
C. Papageorgiou, M. Oren, and T. Poggio. A general framework for object detection. In
International Conference on Computer Vision, 1998.

6.
Фомин, А. Ф. Отбраковка аномальных результатов измерений/А. Ф. Фомин, О. Н.
Новоселов, А. В. Плющев. – М.: Энергоатомиздат. 1985. 200 с.
7.
Sochman J., Matas J. AdaBoost with totally corrective updates for fast face detection //
Center for Machine Perception, Czech Technical University, Prague. 2004. URL:
(http://cmp.felk.cvut.cz sochmj1).
8.
Шерстобитов А.И. Классификация объектов при анализе текстурированных цветных цифровых изображений./Шерстобитов А.И., Марчук В.И., Тимофеев Д.В., Сизякин
Р.А./Нелинейный мир – М., 2012. Т10. №11. С. 769-776.
9.
Levin A., Lischinski D., Weiss Y. A closed form solution to natural image matting, in
Proceedings of IEEE CVPR, 2006. pp.277-302.
10.
Kyungnam Kim Face Recognition using Principle Component Analysis // Department of
Computer Science University of Maryland, College Park. - pp 1-7.
11.
The
ORL
Database of
Faces
[электронный ресурс]
//
2010.
URL: http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html (дата обращения - 10.12.2012).
12.
O. Jesorsky, K. Kirchberg, R. Frischholz, In J. Bigun and F. Smeraldi, editors, Audio and
Video based Person Authentication - AVBPA 2001, pages 90-95. Springer, 2001.


Поделитесь с Вашими друзьями:


База данных защищена авторским правом ©nethash.ru 2017
обратиться к администрации

войти | регистрация
    Главная страница


загрузить материал