Фотографія підраховує калорії - Utehaeussler Ute Häußler
Фотографія підраховує калорії
Завдяки вдосконаленому ШІ, 3D та гіперспектральній технології обробка зображень перетворює звичайні смартфони в точні пристрої аналізу їжі.
Використовуйте свій мобільний телефон для боротьби з діабетом, як і Instagram
Понад 200 мільйонів людей у всьому світі страждають на цукровий діабет 1 або 2 типу та ожирінням. Сучасна технологія зору тепер може допомогти боротися з цими захворюваннями. Американський стартап FoodPhone ™ розробив футляр для мобільних телефонів та додаток, який використовує просту фотографію смартфона, щоб негайно та науково визначити харчовий вміст їжі - як поділитися нею в соціальних мережах. Додаток FoodPhone ™ заснований на технології Intel® RealSense ™ 3D і визначає об’єм, текстуру та форму всіх видів їжі лише одним зображенням. На додаток до підрахунку вуглеводів та калорій, інноваційний корпус із вбудованим зором розпізнає інгредієнти їжі на основі їх хімічного складу та негайно показує їх користувачеві як звичну таблицю поживних речовин. Якість, свіжість і ступінь стиглості їжі можна перевірити «під чашею», перебуваючи ще в магазині - функції NIR (Близько Інфрачервоне) виявляють як видимі, так і невидимі дрібні дефекти або знаки тиску. Вибір фруктів чи овочів буде дитячою грою - за допомогою FoodPhone мобільний телефон вказуватиме на найкращий і найбільш стиглий авокадо в майбутньому.
Мільярди людей у всьому світі звертають увагу на свій раціон
Діабетики, спортсмени, любителі фітнесу та багато інших, хто стежить за своєю вагою, повинні бути обережними, що вони їдять. Тільки в США понад 100 мільйонів людей щодня використовують смартфони, щоб контролювати свою вагу, фізичну форму та дієту. Кількість випадків діабету швидко зростає у всіх сучасних суспільствах. Особливо для діабетиків, підрахунок вуглеводів є ключовим фактором для управління їхньою хворобою. В надзвичайних ситуаціях це питання життя і смерті, оскільки кількість вуглеводів впливає на регулюючу дозу інсуліну. Тому вуглеводи в їжі є найважливішою інформацією, яка потрібна діабетику для постійного контролю рівня цукру в крові та для правильного налаштування автоматичних інсулінових насосів. І саме в цьому полягає проблема: ці дуже приємні та зручні для пацієнта пристрої корисні лише при правильному введенні користувачем даних. Однак ручні введення кількості часто оцінюються дуже неточно. Це призводить до неправильних дозувань інсуліну, які не тільки дуже небезпечні, але навіть можуть загрожувати життю діабетика.
Одне зображення смартфона створює таблицю поживних речовин
Сучасні смартфони мають гарну камеру, доступ до Інтернету та потужні процесори, здатні обробляти алгоритми штучного інтелекту (ШІ). Завдяки Instagram, мобільні телефони щомісячно роблять мільйони зображень продуктів харчування. Ідея FoodPhone полягає у перетворенні цих смартфонів на дієтичні засоби, які аналізують їжу безпосередньо на тарілці. Додаток FoodPhone із запатентованою технологією SpectraPixel ™ робить знімок, підключається до власного хмарного інтелекту компанії та розпізнає вміст їжі - зокрема, хімічний склад, розмір порції в грамах, а також якість та термін зберігання. Додаток може розрізняти кілька видів їжі на тарілці, а також розпізнавати готові страви, такі як картопляне пюре. Цього досягають декілька мультиспектральних камер та датчиків NIR, які вбудовані в стандартний чохол для мобільного телефону. Користувач негайно отримує науковий аналіз своїх страв.
Цей аналіз містить детальну інформацію про вуглеводи, жири, білки та інші поживні речовини, а також точний розмір їжі. Поєднуючи різні технології обробки зображень та штучного інтелекту, FoodPhone визначає точну кількість та склад їжі. Користувачам не потрібно вводити дані, торкатися їжі чи оцінювати кількість. І ви отримуєте результат негайно - чохол для мобільного телефону забезпечує дуже зручну та ефективну харчову інформацію з точністю понад 90%. Крістофер М. Мутті, засновник та генеральний директор FoodPhone, каже, що ця технологія, поєднуючи штучний інтелект та доповнену реальність, матиме позитивний вплив на поширення діабету та може допомогти людям, які стежать за дієтою, досягти своїх цілей.
Зображення 2 і 3: Беручи, здається, зображення, користувач негайно отримує науковий аналіз своєї їжі.
Ідея, інновації та реалізація
"Спочатку я просто шукав простий спосіб підрахувати калорії", - говорить сьогодні Мутті. Пристрасний хокеїст, він був змушений стежити за своїм харчуванням, тримати під контролем свою вагу та калорії. Він хотів бути найкращим. Але в аналогові часи чи пізніше за допомогою комп’ютерів та Інтернету, підрахунок калорій був для нього не тільки неточним, він також був надзвичайно складним і зайняв багато часу. Підготовлений інженер-механік хотів просто і швидко побачити, що і скільки він їсть. У нього була ідея проаналізувати страву із зображенням з камери або мобільного телефону на рубежі тисячоліть, але технологія ще не була готова. Він почав працювати над цим у 2013 році.
Обчислювальна здатність смартфонів вже настільки розвинулася, що вони можуть обробляти складні алгоритми; та новаторські проекти, такі як ImageNet Стенфордського університету, зробили доступною технологію штучного інтелекту на основі бачення. Спільно з командою досвідчених вчених у галузі нейронних мереж та штучного інтелекту, обробки 3D та гіперспектральних зображень, а також досвідчених інженерів у галузі дизайну камер та об'єктивів, Мутті вирішив розробити патенти, щоб втілити свою ідею в життя.
Рисунки 5 і 6: Дослідження дизайну та прототип чохла для мобільних телефонів FoodPhone
Поєднання різних даних зору за допомогою штучного інтелекту
Додаток FoodPhone використовує мультиспектральну та 3D-обробку зображень для точної ідентифікації поживних речовин, а також обсягу та порції. Команда Мутті розробила необхідне програмне забезпечення без маркера як посилання в полі зору системи обробки зображень. Інженери обрали глибинну камеру Intel® D435 RealSense, оскільки це USB-камера, яка складається зі стерео пари, камери RGB та інфрачервоного проектора. Мутті володіє декількома патентами на створення гіперспектральних зображень шляхом об'єднання результатів декількох камер та різних типів даних зору.
Система обробки зображень працює так само, як людина дивиться на свою їжу: колір - це перший елемент, який вражає його. FoodPhone спочатку використовує RGB-камеру для виявлення кольорів на табличці. Потім стереокамера генерує 3D-дані, щоб визначити форму, контури та текстуру кожної їжі - так само, як це робить людське око. 3D-вихідні дані дають розміри та загальний обсяг або розмір порції їжі. За допомогою даних NIR, записаних кількома камерами та датчиками, власні алгоритми FoodPhone можуть оцінювати хімічний склад їжі так само, як відчуття смаку та запаху людини.
Для цього накладання з більш ніж десяти зображень та їх вихідних даних поділяється на видиме світло, колір, спектральні дані та 3D-інформацію. Потім за оптичною, спектральною та фізичною інформацією визначаються специфічні та індивідуальні властивості кожного харчового продукту. За допомогою цих спектральних профілів кожну їжу можна чітко ідентифікувати, оскільки вона має унікальний спектральний відбиток.
Фото 7 та 8: Різні спектральні профілі як унікальний відбиток пальця для овочів та м’яса.
"Ми використали кілька мільйонів зображень для навчання наших алгоритмів ШІ", - говорить Крістофер Мутті. «Це була велика робота над виконанням десятків тисяч класифікацій продуктів харчування, таблиць плутанини та інших етапів процесу. Але зараз ми досягаємо точності понад 90% ». Щоб правильно розрахувати таблиці поживності та вагу, колір, текстура, спектральний підпис та обсяг їжі повинні збігатися. Дані вихідних зображень спочатку обробляються Intel® Edison, дуже маленьким SoC (системою на мікросхемі), з метою виявлення вуглеводів, білків, жирів та вмісту води. Звідти вся зібрана інформація передається в хмару та проходить через базу даних FoodPhone на основі AI. Смартфон отримує результати та відображає їх як таблицю поживних речовин на дисплеї мобільного телефону.
Технологія може зробити набагато більше
Технологія FoodPhone допомагає людям аналізувати їжу в повсякденному житті - не лише під час дієт. Коли ви купуєте в супермаркеті, програма показує вам найсвіжіші та найздоровіші продукти на полиці. Це призводить до меншої кількості поганих покупок і меншої кількості зіпсованих продуктів і одночасно економить гроші. Споживачі можуть бачити всю інформацію про інгредієнти, якість та свіжість на своєму смартфоні в режимі реального часу. Люди з харчовою алергією можуть перевіряти зазначені інгредієнти їжі, і їм не потрібно розшифровувати будь-які "загадкові" списки інгредієнтів. Простий знімок їжі на мобільному телефоні надає детальний перелік інгредієнтів та точний термін зберігання. Дані NIR допомагають визначити його зрілість, невеликі дефекти та можливі бактерії, незалежно від найкращої до дати випуску продукції. До найсвіжішого, стиглого авокадо лише один клік.
У сценаріях розумного будинку, орієнтованих на майбутнє, технологію FoodPhone можна вбудувати в кожну домашню кухню. Маленька камера, встановлена над стільницею, може сканувати кожну їжу або окремі інгредієнти їжі. Користувач отримує науковий аналіз своїх інгредієнтів та зведену таблицю поживних речовин безпосередньо під час приготування. Крім того, програмне забезпечення FoodPhone може автоматично оновлювати щотижневий список покупок користувача або замовлення служби доставки.
Мережевий холодильник IoT (Інтернет речей) може використовувати технологію FoodPhone для відстеження споживаної їжі та її терміну придатності, а також порівняти їх безпосередньо зі списками покупок та доставки. Більше немає "ковбаса - це все" - сім'я повинна бути негайно повідомлена про те, що популярних страв не вистачає, і вони могли б придбати більше, - або нехай це робить їх холодильник.
Крім того, обробка зображень та перевірка продуктів харчування на основі ШІ можуть боротися з харчовими шахрайствами та виявити справжні інгредієнти. Люди можуть приймати кращі, здоровіші рішення, знаючи додані хімічні речовини або секретні інгредієнти, які деякі виробники використовують для продовження терміну придатності, покращення вигляду продуктів харчування чи продуктів, що вживають наркотики.
Першокласний приклад використання для обробки зображень орієнтованого на майбутнє
Інноваційна технологія FoodPhone є прекрасним прикладом того, як додатки, що базуються на зорі, у повсякденних пристроях, таких як стільникові телефони та інтелектуальні побутові прилади, можуть бути використані для справді інноваційних програм і займають дуже мало місця. Поєднання різних типів обробки зображень на основі ШІ - в даному випадку 3D, RGB та NIR - для отримання додаткової інформації показує, наскільки потужні сучасні системи зору. Стандартні камери з вбудованим детектором глибини та інфрачервоними проекторами доступні за низькими цінами, готові до негайного використання та в дуже малих розмірах. Проста у використанні та доступна за ціною технологія машинного зору може вивести додатки на промислових та споживчих ринках на новий рівень. Машини не тільки вчаться бачити, але і дивитись «під оболонку».