Ця нова модель машинного навчання повертає молодь до старих фотографій ICTjournal
Дослідники з Microsoft та Університету Гонконгу створили алгоритм, здатний відновити старі пошкоджені фотографії. Щоб досягти цього, їм довелося розробити нове моделювання нейронних мереж, здатне зрозуміти багато видів змін, які можуть вплинути на старі кліше.
Деякі з найбільш драматичних - і найбільш помітних - досягнень ШІ були в редагуванні зображень. Це схоже на недавню роботу, представлену дослідниками з Microsoft та Університету Гонконгу, які розробили методику застосування хорошої підтяжки обличчя до старих фотографій. Їх алгоритм може, наприклад, надати молодий вигляд портретам, блиск і кольори яких з часом проходять. Або гладкі фотографії, пошкоджені складками та подряпинами.
Велике розмаїття деградацій, які можуть вплинути на старі фотографії, не дозволяє використовувати вже доведені моделі відновлення зображень, пояснюють дослідники. Моделі глибокого навчання, засновані на згорткових нейронних мережах, можуть, наприклад, навчитися завданням покращити якість фотографій, попередньо навчившись безліччю синтетичних зображень, що імітують конкретні деградації. Однак занадто велика несхожість між цими штучно деградованими зображеннями та старими пошкодженими фотографіями заважає нейромережам створювати загальні правила. Явище, обумовлене, зокрема, поступовою еволюцією технік фотографії, які створюють кадри, що містять різні артефакти залежно від періоду.
Таким чином, щоб створити свій алгоритм відновлення старих фотографій, дослідники уявили собі триплетну мережу перекладу. По-перше, варіаційний автоматичний кодер порівнює деградовані синтетичні зображення та старі зображення в тому, що дослідники називають прихованим простором, складаючи додатковий вузол у нейронній мережі. Потім інформація цього першого прихованого простору перетинається з другим прихованим простором, де виведені правила відновлення між деградованими синтетичними зображеннями та їх оригіналами. Діаграма нижче та публікація в блозі дослідників містять більше деталей.
На даний момент область відновлення зображень ШІ виглядає особливо динамічно. Не так давно інші дослідники розкрили алгоритм, здатний відтворити HD-зображення із розмитого зображення.