Распознавание и анализ лиц Антон Конушин



Pdf просмотр
Дата07.04.2017
Размер2.41 Mb.
Просмотров204
Скачиваний0

Распознавание и анализ лиц
Антон Конушин

Что предполагаем
• Умеем:
• Выделять лица в изображении
• Знаем, что можно (эти задачи рассматриваются в курсе «Доп. главы компьютерного зрения»)
• Выделять контрольные (антропометрические) точки на изображении лица, такие как уголки глаз, и т.д.
• Строить 2D сеточные модели лица по изображению
(триангулирование сетки)

Что будем рассматривать
• Основные задачи и тестовые базы
• Распознавание лиц
• Распознавание атрибутов по лицу
• Фокусы с лицами

Верификация
На обоих изображениях один и тот же человек, или нет?
Базовая задача распознавания лиц, которую и человеку проще всего решать

Идентификация

Есть фиксированный список людей (база) и тестовое изображении

Нужно определить, кто из списка изображени на тестовой фотографии?

«Watch List»

Есть список «подозрительных людей»

Необходимо определить, входит ли человек в этот список по его фотографии

Самая сложная постановка задачи

Аттрибуты
• Что мы можем сказать про этого человека?
• Атрибуты – «типичные» характеристики объекта, которые мы используем для его описания
• Для человека - пол, возраст, раса, борода, усы, улыбка, очки и т.д.
Мужчина
Азиат
Бородат
Улыбается

FERET (1995-2000)

14000 изображений, 1200 человек

2 фронтальных фотографии с разным выражением лица (fa, fb)

Иногда одна фотография другой камерой и освещением

Несколько дупликатов (фотографий того же человека через 1-2 года после первой съёмки)
P. J. Phillips, H. Moon, P. J. Rauss, and S. Rizvi, "
The FERET evaluation methodology for face recognition algorithms
", PAMI 2000.

FRGC

Face Recognition Grand Challenge (для Face Recognition Vendor Test)

Идея: исследовать возможность повышения качества распознавания за счёт улучшенных данных разной природы (контролируемые, неконтролируемые, 3д), высокое разрешение

220 человек, 12К изображений в обучающих данных

465 человек в валидационной выборке (год спустя)
P. Jonathon Phillips, Patrick J. Flynn, Todd Scruggs, Kevin Bowyer, Jin Chang, Kevin Hoffman,
Joe Marques, Jaesik Min, and William Worek. Overview of the Face Recognition Grand
Challenge. In CVPR, 2005.

Labeled Faces in the Wild (LFW) http://vis-www.cs.umass.edu/lfw
Gary B. Huang, Manu Ramesh, Tamara Berg, and Erik Learned-Miller.
Labeled Faces in the Wild: A Database for Studying Face Recognition in Unconstrained
Environments. University of Massachusetts, Amherst, Technical Report 07-49, 2007.
Сбор коллекции изображений из интернета.

Labeled Faces in the Wild

5749 человек, 12К изображений, 1680 человек по 2 и более фотографии, остальные
– по одной

Фотографии разрешения 250*250, JPEG

Неконтролируемые условия, очень разные фоны, позы, разное время съёмки

“In the wild” сейчас очень популярный термин, обозначающий работу с реальными изображениями без ограничений

На этой коллекции до текущего времени проводились сравнения алгоритмов распознавания лиц

Верификация человеком на LFW
Original
99.20%
Cropped
97.53%
Inverse
Cropped
94.27%

Сравнение современных баз
Dataset
#Subjects
#Images
LFW
5,749 13,233
CelebFaces [1]
10,177 202,599
SFC [2]
4,030 4,400,000
CASIA-WebFace [3]
10,575 494,414 1. Y. Sun, X. Wang, and X. Tang. “Deep learning face representation by joint identification- verification”. arXiv preprint arXiv:1406.4773, 2014 2. Y. Taigman, M. Yang, M. Ranzato, and L. Wolf. “Deepface: Closing the gap to human- level performance in face verification”. In Computer Vision and Pattern Recognition
(CVPR), 2014 IEEE Conference on, pages 1701–1708. IEEE, 2014 3. Dong Yi, Zhen Lei, Shengcai Liao and Stan Z. Li, “Learning Face Representation from
Scratch”. arXiv preprint arXiv:1411.7923. 2014.

Разметка за счёт фрилансеров

Значительный рост размеров коллекций

Нормализация изображения лица
Базовый вариант – по центрам глаз
• Выделяются центры глаз
• Вычисляется такое преобразование, чтобы центры глаз оказались на одной строке и с фиксированным расстоянием между ними

3D нормализация
Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing
the Gap to Human-Level Performance in Face Verification. CVPR 2014.

Общая схема верификации
Изображения
Верификация
Разные
Признаки
RGB
HOG
LBP
SIFT
Deep
RGB
HOG
LBP
SIFT
Deep

Что можно менять:
• Выбор признаков
• RGB, HOG, биологические, LBP, обучаемые, нейросетевые
• Квантование, агрегация (pooling) признаков по изображению
• Построение дескриптора по признакам
• Сравнение дескрипторов
• Метрика для сравнения дескрипторов
• Обучение классификатора {разные, одинаковые}

EigenFaces
M. Turk and A. Pentland
"Face recognition using eigenfaces"
Proc. IEEE Conference on Computer Vision and Pattern
Recognition. 1991 (более 4000 цитирований!)

EigenFaces
Большая собственная выборка изображений лиц

Уменьшение размерности

Dimension reduction – важная задача / группа методов

Задача - аппроксимация данных векторами меньшей размерности

В машинном обучении – уменьшение размерности вектор-признака

Самый часто используемый метод – метод главных компонент
(PCA – Principle Component Analysis), впервые описанный
Пирсоном в 1901 году

Метод главных компонент
• Дана выборка
• Вычислим среднее
• Вычислим матрицу ковариации:
• Найдём собственные значения λ и собственные вектора е:

• Упорядочим собственные значения по убыванию
• Собственные вектора e i
задают новый базис в пространстве X

Метод главных компонент
• Значение λ
i
указывает на разброс (variation) векторов вдоль направления e i
• Большая часть λ
i
может быть близка к нулю и ими можно пренебречь
Пример:

Метод главных компонент
• Спроецируем x на первые M главных векторов: где
• Вектор (a
1
,…,a
M
)
- это «сжатая» версия вектора X
• Длина M вместо N
• Долю данных, покрываем первыми M главными векторами можно оценить как:

Метод главных компонент
• Если поставить задачу минимизировать сумму квадратов ошибки
• То можно показать, что решением этой задачи будет:
• e i
– собственные вектора матрицы ковариации K
• a i
– проекция вектора x на собственные вектора e i

Получение базиса лиц
Pb
x
x


PCA:
Среднее лицо и базисные вектора

EigenFaces
Разложение лица по новому базису из PCA:

Первые коэффициенты разложения лица используются как признаки в задачах идентификации личности

Самые первые 3 компоненты в PCA считаем, отмечают за свет, поэтому при сравнении их отбрасываем

B. A. Golomb, D. T. Lawrence, T. J. Sejnowski SexNet: A neural network identifies sex from human faces, NIPS 1990
Sex Net – распознавание пола

SVM-подход

Уменьшенные изображения до 12*21 пикселей
(thumbnails)

SVM-RBF классификатор

300 опорных векторов

FERET база

Точность – 96.6%
B. Moghaddam and M.-H. Yang, “Learning gender with support faces,” TPAMI, vol.
24, no. 5, pp. 707–711, 2002

«Boosting Sex»

Применим “boosting” подход для классификации пола лиц

Опираемся на классификатор «позы лица», использующий сравнение интенсивности двух пикселей в изображении
S. Baluja and H. Rowley, “Boosting sex identification performance,” IJCV, 2007

Результаты
• Обучали и тестировали на FERET
• 10 сравнений – точность 80%
• 20 cравнений – точность 90%
• 1000 признаков – точность 96%
• Сравнение с SVM по скорости
• В 25-50 раз быстрее

Local Binary Patterns
T. Ojala, M. Pietikäinen, and D. Harwood, "Performance evaluation of texture measures with classification based on Kullback discrimination of distributions", ICPR 1994

Расчёт LBP
Может потребоваться интерполировать значения в точках, необходимых для расчёта LBP

Применение LBP

Изображение разбивается на области. В каждой области применяются LBP операторы к каждому пикселю. Строится гистограмма.

Объединение гистограмм – LBP дескриптор для изображения.

Для пары изображений считается разность дескрипторов по какой-нибудь метрике (например, Хи-квадрат)
Ahonen, T., Hadid, A. and Pietikäinen, M. (2006), Face Description with Local Binary
Patterns: Application to Face Recognition. IEEE PAMI 28(12):2037-2041.

Uniform LBP
• Рассмотрим количество переходов:
• 00000000 (0 transitions)
• 01110000 (2 transitions)
• 11001111 (2 transitions)
• 11001001 (4 transitions)
• 01010010 (6 transitions)
• Однородными LBP называются такие коды, в которых переходов <= 2
• Однородные составляют от 80 до 90% всех кодов
• Неоднородные коды иногда объединяют в один
• Для кода из 8 бит
• 256 кодов всего
• 58 однородных (59 разных меток)

Интерпретация однородных LBP
• Коды с 2мя переходами - кодирование изолиний

Развитие LBP

Придумали два новых признаковых дескриптора: Three-Patch
LBP и Four-Patch LBP - усовершенствованные LBP.

Будем сравнивать не пиксели, а фрагменты изображения между собой (попиксельно по L2 и т.д.)

f(x) =1 если x>T, и 0, если наоборот

Затем всё переводим
Lior Wolf, Tal Hassner and Yaniv Taigman, "Descriptor Based Methods in the Wild," Faces in
Real-Life Images workshop at the European Conference on Computer Vision (ECCV), 2008.

Four-Patch LBP
Сравнение двух пар фрагментов

Обучение метрик сравнения
• Метрика COSINE:
• Обученная метрика
• Обучение метрики:
Hieu V. Nguyen, Li Bai Cosine Similarity Metric Learning for Face Verification.
ACCV 2010

Алгоритм на основе COSINE
• Извлечь признаки
• Применить PCA для уменьшения размерности
• Обучить матрицу A для метрики
• Подобрать порог на валидационной выборке
Замечания:
• Если вектора нормализованы (длина = 1) то скалярное произведение = косинусная метрика
• Часто оказывается очень эффективной

Аттрибуты для верификации
Neeraj Kumar, Alexander C. Berg, Peter N. Belhumeur, and Shree K. Nayar.
Attribute and Simile Classifiers for Face Verification. ICCV, 2009.

Построение классификатора
• Есть набор областей изображения
• Есть набор признаков
• Есть SVM + RBF
• Процедура
• Обучим классификаторы на всех комбинациях (область, признак)
• Выбираем наилучшую комбинацию (область, признак)
• Выберем вторую наилучшую комбинацию, добавим в набор, обучим классификатор на наборе
• Будем добавлять новые наилучшие комбинации в набор, пока не прекратиться рост качества (или до 6 комбинаций)

Области лица

Виды особенностей
Pixel Value Type Normalizations Aggregation
RGB
None
None
HSV
Mean-Norm
Histogram
Image Intensity
Energy-Norm
Statistics
Edge Magnitude
Edge Orientation

«Similes» / «Подобия»
Angelina Jolie
Penelope
Cruz
«Подобия» - классификатор, похожа ли данная часть лица на тестовом изображении и у другого конкретного человека

«Эталонные люди»
Эталонный человек R1
Эталонный человек R2

Обучение «подобий»
Изображения Пенелопы Круз
Изображения других людей
(её глаз)
(их глаз)
60 человек, 8 регионов, 6 типов особенностей (без выбора), для каждого обучаем классификатор

Алгоритм верификации
• Выходы всех классификаторов аттрибутов и similes объединяются в один вектор признаков.
• Этот вектор подается на вход новому
SVM + RBF классификатору.

Tom-vs-Pete
• Развитие «подобий»
• Берём пару людей
• Обучаем классификатор, на кого из пары больше похоже тестовое изображение
Thomas Berg and Peter N. Belhumeur.
Tom-vs-Pete Classifiers and
Identity-Preserving Alignment for
Face Verification.
British Machine Vision Conference
(BMVC), 2012.

Детали Tom-vs-Pete

120 человек, 11 областей расчёта

Базовый классификатор – HOG по области, линейный SVM

Отбор 5000 Tom-vs-Pete классификаторов с помощью boosting- процедуры

Конкатенация разностей выходов для получения общего дескриптора

RBF SVM для принятия решения

DeepFace – пример нейросетей
• Выборка из 4000 людей по 1000 изображений на каждого
• Аккуратное совмещение через 3D нормализацию, поэтому используют не только свёрточные, но и локально-свёрточные слои
• Обучение нейросети как классификатор 4000 людей
• Выход предпоследнего уровня = признаки для сравнения
Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing
the Gap to Human-Level Performance in Face Verification. CVPR 2014.

DeepID
Yi Sun, Xiaogang Wang, and Xiaoou Tang. Deep Learning Face Representation from Predicting 10,000 Classes. CVPR, 2014.

Комитет нейросетей (до 25)

Каждая смотрит свой фрагмент лица

Обучают как классификатор 10000 классов

Объединение верхних слоёв всех сетей = признак

Итог – STAR-классификатор

Текущие результаты

«Метод Тюбика»
• Эксперименты показали, что можно обучить классификатор SVM так, чтобы его результаты хорошо кореллировали с оценками людей (по шкале от 1 до 7 баллов)
• Попробуем чуть-чуть поправить все пропорции лица так, чтобы оно казалось красивее
Tommer Leyvand
,
Daniel Cohen-Or
,
Gideon Dror and
Dani Lischinski
Data-Driven
Enhancement of Facial Attractiveness
ACM SIGGRAPH 2008
EISENTHAL, Y., DROR, G., AND RUPPIN, E. 2006. Facial attractiveness:
Beauty and the machine. Neural Computation 18, 1, 119–142.

Схема

Вычисление черт на основе ASM моделей

Улучшение лица
• Из изображения извлекаем вектор v, описывающий геометрию модели.
• Нужно найти v’, близкий к исходному, но с более высокой оценкой красоты
• Подходы:
• K-NN
– Ранжируем все изоражения в базе по
– Затем усредняем k ближайших
– Только выпуклые комбинации примеров из базы
• SVR
– Оптимизация оценки красоты
– Проекция v через PCA (234 в 35)
– Регуляризация вероятностью модели (как в Active Shape)

Зависимость от K в K-NN

Сравнение подходов

Результаты

Результаты

Результаты

Видео

Синтез анимации

Идея – для текущего изображения лица найдём в базе изоражений / видео изображения с наиболее похожими выражениями
Ira Kemelmacher-Shlizerman, Aditya Sankar, Eli Shechtman, and Steven M. Seitz.
Being John Malkovich
, ECCV 2010

Выделение черт лица
• Любые методы подойдут
• Морфируемые модели дадут наиболее точный результат

Канонические лица
• Лицо отображется на каноническую позу. Таким образом, мы убираем разницу в позе и можем сравнивать выражение лица напрямую


Расстояние между блоками:

Для каждой области суммируем расстояние между всеми блоками

Суммарное расстояние в выражении лиц – взвешенная сумма расстояний по области рта и области глаз:
Расстояние между выражениями

Все изображение разбивается на блоки

В каждом блоке считаем
LBP

Сравнивается область лица и область глаз

Расстояние между изображениями
• Расстояние между позами: где L(d) – логистическая функция
T отображается в 0.5, T+/- σ в 0.01 и 0.99
• Суммарное расстояние:
• Учитывается сходство выражения между соседними кадрами

Примеры сопоставлений лиц

Видео

Резюме лекции
• Для предобработки изображения лица требуется знать минимум положения глаз
• Полезные инструменты:
• Уменьшение размерности (PCA)
• Текстурный признак LBP
• Вычисление атрибутов и сравнений с «примерами» и использование их как высокоуровневых признаков
• Нейросети


Поделитесь с Вашими друзьями:


База данных защищена авторским правом ©nethash.ru 2019
обратиться к администрации

войти | регистрация
    Главная страница


загрузить материал