Раніше повідомлення з відділу АВТ
- Зацікавлений у навчанні
- Студенти
- Співробітник
- Журналісти
- економіка
- Інститут медіа-технологій
- Домашній АВТ
- Люди
- Викладання
- дослідження
- Публікації
- Програмне забезпечення/Завантаження
- Тези
- архів
- Раніше повідомлення з відділу АВТ
- Виконані проекти (до 2013 р.)
- Дисертації та габілітації
- Події
Раніше повідомлення з відділу АВТ
21-й Міжнародний симпозіум IEEE з мультимедіа (2019 IEEE ISM), 9-11 грудня 2019 року, Сан-Дієго, США
Ракеш Рао Рамачандра Рао, Стів Герінг, Вернер Робіца, Бернхард Файтен, Олександр Рааке
AVT-VQDB-UHD-1: Велика база даних про якість відео для UHD-1
В даний час на ринку доступні телевізійні екрани 4K або навіть з більш високою роздільною здатністю. Більше того, провайдери потокового відео можуть передавати відео в роздільній здатності 4K і далі. Тому стає все більш важливим правильне розуміння якості відео, особливо у випадку з 4K відео . З цією метою в цій роботі ми представляємо дослідження суб’єктивної та об’єктивної оцінки якості короткотривалих відео 4K ультрависокої чіткості, подібних довжині сегмента DASH.
Спочатку ми провели чотири суб’єктивні тести оцінки якості стиснених версій відео 4K. Відео кодували за допомогою трьох різних відеокодеків, а саме H.264, HEVC та VP9. Роздільна здатність стиснених відео варіювалась від 360p до 2160p з частотою кадрів від 15fps до 60fps. Весь вихідний вміст 4K використовувався зі швидкістю 60 кадрів в секунду. Ми включили низькоякісні умови з точки зору бітрейту, роздільної здатності та частоти кадрів, щоб забезпечити, щоб тести охоплювали широкий діапазон умов, і що, наприклад, можливі моделі, навчені на цих даних, є більш загальними та застосовними до більш широкого кола реальних застосувань. Результати суб'єктивної оцінки якості аналізуються для оцінки впливу різних факторів, таких як бітрейт, роздільна здатність, частота кадрів та вміст.
На другому етапі до всіх відео застосовувались різні сучасні моделі об’єктивної якості та аналізували їх ефективність у порівнянні з суб’єктивними оцінками, наприклад за допомогою VMAF від Netflix. Відео, суб'єктивні оцінки, як МОП, так і довірчі інтервали в послідовності та об'єктивні бали оприлюднюються для використання спільнотою для подальших досліджень.
Посилання на відео:
21-й Міжнародний семінар IEEE з обробки мультимедійних сигналів (MMSP), вересень 2019 р., Куала-Лумпур, Малайзія
А. Сінгла, В. Робіца та А. Рааке
Порівняння суб’єктивних методів тестування якості для всеспрямованого оцінювання якості відео
Премія за найкращий папір
Домінік Келлер (Департамент AVT), Тамара Сейболд (ARRI Мюнхен), Янто Сковронек (колишній Департамент AVT) та Олександр Рааке (Департамент AVT) отримали нагороду за найкращу роботу на 11-й Міжнародній конференції з якості мультимедійного досвіду (QoMEX 2019) у Берліні.
Спонсорські винагороди для випускників у цій галузі
Вдруге Förderverein Elektrotechnik und Informationstechnik e. В. Ілменау у зв’язку з факультетом електротехніки та інформаційних технологій ТУ Ільменау отримав спонсорську нагороду за видатні тези. Нагороджена премія вшанувала досягнення студентів під час церемонії припинення реєстрації в кінці червня. На щастя, дві тези від Науково-дослідної групи аудіовізуальних технологій, які були проведені разом з промисловими партнерами, були визнані видатними через їх високий ступінь міждисциплінарності та наукового підходу, а також їх виконання.
Ми вітаємо лауреатів премії Антона Шуберта, який займався реалізацією стисненого широкосмугового аудіокодека для спілкування водіїв у автоспорті, та Домініка Келлера, який працював над ідентифікацією та аналізом розмірів текстури в кінофільмах за допомогою методів оцінки датчиків.
IMT на літньому фестивалі представництва Тюрінгії у Берліні
У 2019 році Інститут медіа-технологій (IMT) був представлений на літньому фестивалі представництва Тюрінгії у Берліні. Стенди поділили дві спеціалізовані галузі. Відділ аудіовізуальних технологій продемонстрував різні ефекти відеовмісту в роздільній здатності Full HD та UHD за допомогою спеціально створеного вмісту. Крім того, було представлено 360 ° відео (віртуальна реальність), які були створені в польових умовах і використовуються для тестів на сприйняття. Імерсивне сприйняття віртуальної реальності також включає адекватну просторову звукову сцену. Ось чому відділ електронних медіа-технологій використовував мікрофонну решітку, щоб продемонструвати, як зроблені ці аудіозаписи на 360 °, і зробити результат чутним безпосередньо на стенді.
У літню погоду було багато зацікавлених відвідувачів. Серед іншого, прем'єр-міністр Тюрінгії Бодо Рамелов просив професора Бранденбурга та професора Рааке пояснити йому цю технологію. Під час заходу їх підтримав Стівен Фремері, д-р. Стефан Вернер та Маттіас Дерінг.
Домінік Келлер, Тамара Сейболд, Янто Сковронек та Олександр Рааке
Оцінка розмірів текстури та якості відео у відеофільмах за допомогою методів сенсорної оцінки
Документ, отриманий в результаті співпраці між членами Департаменту аудіовізуальних технологій та володарем Оскара ARRI (Arnold & Richter Cine Technik), отримав нагороду за найкращий документ на 11-й Міжнародній конференції цього року. Конференція з якості мультимедійного досвіду (QoMEX 2019).
У дослідженні, представленому на конференції QoMEX 2019, ми порівнюємо вплив різних алгоритмів інтерполяції руху (MI) на 360 ° Якість досвіду відео (QoE). Для цього ми провели суб’єктивний тест з 12 глядачами відеоекспертів, тоді як був використаний метод тестування порівняння пар. Ми інтерполювали чотири різних 20-секундних вмісту джерела 30 кадрів в секунду на 360 ° до рідної частоти оновлення 90 Гц популярних головних дисплеїв, використовуючи три різних алгоритми MI. Згодом ми порівняли ці 90 відео в секунду між собою, щоб дослідити вплив на QoE. Щодо алгоритмів, ми з’ясували, що суміш ffmpeg не призводить до значного поліпшення рівня якості, тоді як MCI та butterflow роблять це. Крім того, ми дійшли висновку, що для відеокліпів на 360 °, що містять швидкі та раптові рухи, слід віддавати перевагу MCI перед масляним потоком, тоді як butterflow більше підходить для повільних та середніх відео. Порівнюючи час, необхідний для відтворення відео з інтерполяцією 90 кадрів в секунду, суміш ffmpeg є найшвидшою, тоді як MCI та butterflow потребують набагато більше часу.
Опубліковано на 26-й конференції IEEE з питань віртуальної реальності та 3D-інтерфейсів користувача, березень 2019 р., Осака, Японія
А. Сінгла, Р. Р. Р. Рао, С. Герінг та А. Рааке: Оцінка якості інформації, захворюваності та присутності тренажера для всеспрямованих відео з різними протоколами тестування
Якість для всеспрямованих відео містить додаткові компоненти, такі як хвороба та наявність симулятора. У цій роботі представлена серія тестів, що порівнюють різні протоколи тестування для оцінки інтегральної якості, хвороби симулятора та присутності всеспрямованих відеозаписів за один пробний запуск, використовуючи HTC Vive Pro як головний дисплей. Для оцінки якості використовували п’ятибальну шкалу ACR. Крім того, були використані добре відомі методи опитування щодо хвороби симулятора та анкети PresenceQuestionire, один раз у повній версії, а один раз лише з однією єдиною цілісною шкалою, щоб проаналізувати, наскільки добре можна виявити присутність та хворобу симулятора, використовуючи лише одну шкалу.
Ашутош Сінгла, представляючи свій плакат на конференції IEEE VR в Японії
Одинадцята міжнародна конференція з якості мультимедійного досвіду (QoMEX) (QoMEX 2019). Берлін, Німеччина. Червень 2019
Стів Герінг, Ракеш Рао Рамачандра Рао, Олександр Рааке
nofu - Легка нереференційна піксельна модель якості відеозапису для ігрового вмісту
Популярність потокових послуг для ігрових відео надзвичайно зросла за останні роки, наприклад Ігри Twitch та Youtube. У порівнянні з класичними програмами для потокового відео, ігрові відео мають додаткові вимоги. Наприклад, важливо, щоб відео транслювались у прямому ефірі лише з невеликою затримкою. Окрім того, користувачі очікують низького затримки, часу очікування та взагалі високої якості відео під час потокового передавання, наприклад використання адаптивного потокового передавання на основі http. Ці вимоги спричиняють різні проблеми щодо прогнозування якості у випадку трансляції ігрових відео. Ми описуємо нещодавно розроблені функції та модель машинного навчання без посилань на якість відео, яка використовує лише записане відео для прогнозування показників якості відео. У різних оціночних експериментах ми порівнюємо запропоновану нами модель nofu з найсучаснішими редукованими або повними еталонними моделями та показниками.
Крім того, ми навчили базову модель, яка не є еталонною, використовуючи функції живого + niqe. Ми показуємо, що наша модель має подібні або кращі показники, ніж інші моделі. Крім того, nofu перевершує VMAF для суб'єктивного ігрового прогнозування якості, хоча nofu не вимагає жодного довідкового відео.
scatter_plot_mos_nofu: результати для ігрового набору даних та суб'єктивного прогнозування балів
7-й європейський семінар з обробки візуальної інформації (EUVIP), Тампере (Фінляндія), 26-28 листопада 2018 р. (Http://www.tut.fi/euvip2018/)
Стів Герінг, Олександр Рааке
deimeq - глибока гібридна модель якості зображення без посилань на нейронні мережі
Поточні моделі оцінки якості еталонних зображень в основному базуються на створених вручну характеристиках (сигнал, комп'ютерний зір ...) або глибоких нейронних мережах. Використання DNN для прогнозування якості зображення призводить до кількох проблем, наприклад розмір вводу обмежений; більша роздільна здатність збільшить час обробки та споживання пам'яті. Великі вхідні дані обробляються за допомогою виправлення зображень та агрегування показника якості. При чистому виправленні підходу зв’язки між субзображеннями втрачаються.
Крім того, необхідний величезний набір даних для навчання DNN з нуля, хоча доступні лише невеликі набори даних з анотаціями. Ми пропонуємо гібридне рішення (deimeq) для прогнозування якості зображення за допомогою
Видобуток особливостей DNN у поєднанні із випадковими моделями лісу. По-перше, deimeq використовує попередньо навчений DNN для вилучення функцій у підході ієрархічного суб-зображення, що дозволяє уникнути величезного набору навчальних даних. Крім того, запропонований нами підхід до зображень обходить чисте виправлення через ієрархічні зв’язки між субобразами. По-друге, deimeq можна розширити, використовуючи функції на основі сигналу з найсучасніших моделей. Для оцінки нашого підходу ми обираємо сувору перехресну оцінку наборів даних із наборами даних Live-2 та TID2013 з декількома попередньо навченими DNN. Нарешті, ми показуємо, що deimeq та його варіанти працюють краще або подібні, ніж інші методи.
Human Vision and Electronic Imaging 2019, Берлінгейм (Каліфорнія, США), 13 - 17 січня 2019 (http://www.imaging.org/site/IST/IST/Conferences/EI/Symposium_Overview.aspx)
Стів Герінг, Джуліан Зебелейн, Саймон Ведель, Домінік Келлер, Олександр Рааке
Проаналізуйте та спрогнозуйте сприйнятливість вмісту відео UHD
720p, Full-HD, 4K, 8K,. роздільна здатність дисплея значно зростає за останній час. Однак зараз багато постачальників потокового відео передають потокове відео з роздільною здатністю максимум 4K/UHD-1. Враховуючи, що звичайні глядачі відео насолоджуються своїми відео в типових вітальнях, де відстань перегляду досить велика, виникає питання, чи можна розпізнати більше дозволу. У наступній роботі ми проаналізуємо проблему сприйнятливості UHD у порівнянні з нижчою роздільною здатністю. На першому кроці ми провели суб’єктивний відеотест, який фокусується на коротких нестиснених відеопослідовностях та порівнює два різні методи тестування для попарної дискримінації двох зображень одного і того ж відео джерела в різних роздільних здатностях.
Ми обрали метод розширеної смуги та метод часового перемикання. Ми виявили, що тимчасове перемикання більше підходить для розпізнавання відеовмісту UHD. Крім того, ми розробили функції, які можна використовувати в системі машинного навчання, щоб передбачити, чи є користь від показу даного відео в UHD чи ні.
Оцінка різних моделей на основі цих особливостей для прогнозування відчутних відмінностей показує хороші показники наявних даних тестів. Наша реалізована система може бути використана для перевірки вихідного відеоматеріалу UHD або для оптимізації потокових програм.