Поглиблення технології виявлення частин тіла за 3D-даними Kinect - Ensiwiki

Для цього предмета можна отримати вигоду від конкретного спостереження за темою спритні методи. Детальніше див. На сторінці Agile methods у спеціальних проектах.

Резюме

  • 1 Рамки проекту
  • 2 фон
  • 3 Завдання
  • 4 Бібліографія
  • 5 Технічні деталі
  • 6 Корисне програмне забезпечення та API

Рамки проекту

  • Керівник: Жан-Себастьян Франко.
  • Кількість студентів: від 3 до 4.
  • Передумови: можливе програмування на Python або C ++, тривимірна графіка, лінійна алгебра, геометрія, ймовірності.

Контекст

Завдяки дослідницькому проекту Natal, який створив комерційну технологію Kinect [5], компанія Microsoft Research запропонувала велике нововведення у галузі зйомки руху для відеоігор. Це нововведення засноване на використанні відеосенсора, що забезпечує глибину на піксель, з одного боку, та на інструменті машинного навчання, що дозволяє класифікувати кожен спостережуваний піксель відповідно до ймовірної частини тіла, до якої він належить, лише на основі геометричне вимірювання глибини. Тренінг базується на дуже великій базі даних спостережуваних поз та новій методиці класифікації, представленій для цього випадку, Випадкові дерева [3]. За цією темою ми пропонуємо вивчення цієї техніки [1,2] та її варіантів [4], залежно від кількості людей, які подали заявку на проект.

виявлення

Мета

В рамках цього проекту ми пропонуємо реалізувати алгоритм, що використовується в Kinect, для часткової класифікації та варіанту, що дозволяє експериментально вивчити його властивості, для потреб дослідницької групи Morpheo в Інрії Гренобль Рона-Альпи. По закінченні практики буде надано реалізацію, яка дозволить завантажити базу даних пози, виконати відповідне навчання та зберегти попередньо обчислену базу даних навчання. Алгоритм також повинен дозволяти завантажувати тестові дані (глибинне зображення або 3D-модель) та класифікувати дані за частинами тіла. Кожен із цих кроків повинен бути перевірений шляхом обширних тестів на різних моделях (зокрема вивчення впливу різних параметрів на результат).

Бібліографія

  • [1] Джеймі Шоттон, Ендрю Фіцгіббон, Мет Кук, Тобі Шарп, Марк Фіноккіо, Річард Мур, Алекс Кіпман та Ендрю Блейк, розпізнавання пози людини в режимі реального часу по частинах з одного глибинного зображення, у CVPR, IEEE, червень 2011 р.
  • [2] Джеймі Шоттон, Росс Гіршік, Ендрю Фіцгіббон, Тобі Шарп, Мат Кук, Марк Фіноккіо, Річард Мур, Пушміт Колі, Антоніо Кримінісі, Алекс Кіпман та Ендрю Блейк, Ефективна оцінка пози людини з одиничних зображень, в Транс. PAMI, IEEE, 2012
  • [3] Дж. Шоттон, Д. Робертсон та Т. Шарп, Ефективне впровадження лісів, що приймають рішення, Springer, 2013
  • [4] Джонатан Тейлор, Джеймі Шоттон, Тобі Шарп та Ендрю Фіцгіббон, Вітрувіанський колектор: висновок про щільні кореспонденції для оцінки пози людини в один постріл, в Proc. CVPR, IEEE, червень 2012 р
  • [5] Сторінка проекту Kinect

Технічні деталі

Програмування бажано здійснювати на Python, з можливими модулями на C ++, виконання яких повинно бути придатним під Linux та MacOS. Базу коду Python від команди можна використовувати для візуалізації 3D-моделі. Кінекти доступні у Fablab для практичного впровадження.