Відстеження функцій обличчя за допомогою поєднання моделей точкових розподілів; EWSTПерекласти

Сучасна технологія захищена патентуванням та продажем маркування «Система та спосіб відстеження рис обличчя», Атул Канауцзя та Димитріс Метаксас, Документ Рутгерса 07-015, попередній патент №. 60/874 451 подано 12 грудня 2006 року. Жодна частина цієї технології не може бути відтворена або відображена у будь-якій формі без попереднього письмового дозволу авторів.

Виявлення функцій обличчя

Наша загальна структура дозволяє широкомасштабне автоматичне формування різних форм з кількох точок зору. Модель може впоратись із більшою мірою варіабельності і може бути використана для вивчення безперервної нелінійної віспи.

У минулому було зроблено кілька спроб представити нелінійні варіації форми за допомогою ядра PCA та багатошарового персептрона. Результати нелінійних підходів значною мірою залежать від того, чи всі варіації форми були адекватно представлені в навчальних даних. Розриви у просторі фігур можуть змусити ці візерунки створювати неправдоподібні фігури. Методи ядра страждають від головного недоліку для вивчення функції попереднього зображення для зіставлення фігури в характерному просторі з вихідним простором. Ми пропонуємо використовувати безліч перекриваючих підпросторів для фіксації більших варіацій фігури, які з’являються в наборі даних завдяки повному руху голови. Наша мета - точно відстежувати риси обличчя при великих обертаннях голови. Вкладом нашої статті є: (1) Покращення специфіки ASM для боротьби з великими варіаціями фігури шляхом вивчення різновидів нелінійної форми. (2) Кадр у реальному часі для відстеження фігур та (3) Вивчення нелінійності для точного прогнозування можливих кутів 3D у 2D фігурах.

Результати фіксації фігури на повному профілі показують ініціалізовані середньою фронтальною формою. Кластерний підхід дозволяє ідентифікувати закриті контрольні точки під час пошуку та ігнорувати, оптимізуючи ймовірність окремих орієнтирів. Цей евристичний пошук забезпечує дуже точне вирівнювання обличчя для повністю профільованого обличчя.

Дескриптор SIFT для моделювання зовнішнього вигляду

Ми використали вдосконалене моделювання макета, використовуючи дескриптор SIFT (лівий) градієнт, який відповідає вартості орієнтира у вікні розміром 19 × 19. Дотримуйтесь кратних мінімумів
що спричиняє погане вирівнювання форм. (Вправо) Дескриптор відповідності витрат SIFT для того самого еталону

(Вгорі) Розташування рис обличчя за допомогою ASM з градієнтними профілями. (Внизу) Локалізація з використанням локальних дескрипторів як функцій SIFT. Дотримуйтесь точного розташування окулярних ознак завдяки дескрипторам SIFT

Відстеження фігур

Запуск ASM на кожному кадрі обчислювально дорогий і викликає сильні точки заклинювання. Ми відстежуємо характеристики за допомогою трекера різниці інтенсивності канав (SSID) у послідовних кадрах. Відстеження SSID - це метод запису двох зображень і обчислює зміщення об’єкта шляхом мінімізації витрат на узгодження інтенсивності, обчислених у вікні фіксованого розміру навколо об’єкта. На невеликому міжкадровому русі можна точно передбачити модель лінійного перекладу. Для інтенсивності поверхні в місці розташування зображення Я ( x i, і я, t k ), трекер оцінює вектор переміщення d = (δ x i, Δ і я ) з нового образу Я ( x i + δ х, і я+ δ р, t k + 1 ) шляхом мінімізації залишкової помилки у вікні W навколо ( x i, і я )

Результати відстеження - натисніть на зображення, щоб переглянути фільми

Виявлення емблеми - моргання очима, виявлення голови та вібрація - клацніть зображення у відео, яке ви переглядаєте

Головний біль і тремор виявляються шляхом розпізнавання закономірності руху носа на відео

3D-голова Неможливо оцінити за допомогою функцій обличчя Відстеження - реальний час Клацніть на зображення, щоб переглянути фільми

Відстеження рис обличчя за допомогою поєднання точок розподілу точок, Атул Канауцзя, Ючі Хуан, Димитріс Метаксас, CVGIP 2006, ( PDF )
виявленнясимволишляхом відстеження функцій обличчя, Атул Канауцзя, Ю. Хуанг, Димитріс Метаксас,Семінар CVPR з семантичного навчання, 2006, ( PDF )
Широкомасштабне вивчення моделей с форми активів, Kanaujia та Dimitris Metaxas, ICIP 2007 ( PDF )
Динамічне відстеження міміки за допомогою адаптованих підпросторів, що перекриваються, Димитріс Метаксас, Атул Канауцзя, Жигуо Лі. ICCS 2007 (PDF)

“Система та метод для відстеження рис обличчя”, Атул Канауцзя та Димитріс Метаксас, Рутгерс Докет 07-015, тимчасовий патент №. 60/874 451, подана 12 грудня 2006 року.