Архітектура нейронних мереж Імпульсні нейронні мережі (33)! Механічний інтелект

Інформована громадськість

Короткий вступ: Ця стаття, третя у серії із 3 статей, була написана у співпраці з Андре Гарен. Викладач Університету Бордо. Андре Гарен є частиною трансдисциплінарної команди MNEMOSYNE, яка працює при INRIA Bordeaux, LABRI та Інституті нейродегенеративних захворювань (CNRS).

Імпульсні нейронні мережі

Це сімейство моделей характеризується більшою стурбованістю біологічним реалізмом, ніж звичайні штучні нейрони, що, як правило, викликає більшу обчислювальну складність і вимагає більшої обчислювальної потужності в однаковому масштабі для мереж. Ці моделі, які називаються «безперервною» моделлю часу, також мають перевагу, пропонуючи часову інтеграцію інформації, наближеної до біологічного часу. У цій родині ми згрупуємо біофізичні моделі, такі як Ходжкін-Хакслі (HH) та його розширення та похідні, а також "іграшкові моделі" типу "Дірявий інтеграл і вогонь" (LIF) або Іжикевича. Питання, на які дають відповіді ці моделі, також суттєво відрізняються від цілей, яких дотримувалися «традиційні» моделі, розглянуті раніше.

Нагадування про деякі поняття біології

Саме генезис і передача нервових імпульсів між нейронами дозволяють протікати інформаційному потоку. Точніше на рівні синапсів відбувається ця передача. На фізико-хімічному рівні це призводить до змін концентрації іонів поблизу клітинної мембрани, що призводить до різниці електричного потенціалу навколо неї. Це називається мембранним потенціалом. Саме це явище є основою більшості метрик (вимірювань), що використовуються в електрофізіології, і які дають змогу виміряти активність та збудливість нервової клітини або будь-якої іншої збудливої клітини та виділити частину інформації, яка є дією потенціал. Малюнок А нижче узагальнює різні стадії генезису потенціалу дії.

Принцип генезису потенціалу дії полягає в наступному. У спокої нейрон має від'ємне значення мембранного потенціалу близько -65 мВ (змінюється залежно від типу нейронів). Під дією деполяризуючого електричного струму натрієві канали відкриваються, дозволяючи натрію надходити. Якщо деполяризації достатньо (концепція порогового значення), вхідний струм буде генерувати сигнал (потенціал дії), і цей сигнал потім буде направлятися в нейрон, зокрема до аксона, який, таким чином, приведе його до наступної клітини, яка може бути нейрон, але також м’язова клітина, ендокринна клітина тощо.

Підсумовуючи, моделі імпульсних нейронів - це динамічні системи, які «безперервно» описують часову криву мембранних потенціалів, а також синаптичних сигналів та пов'язаних з ними біологічних механізмів.

Модель Ходжкіна-Хакслі

Модель Ходжкіна-Хакслі може бути описана електричним ланцюгом, який називається ланцюгом, еквівалентним мембрані, і описаний на малюнку В. Побудований на основі вимірювань, проведених на аксоні кальмара, він дозволив формалізувати генезу дії потенціалу d '' та кількісну модель вплив різних елементів (концентрація іонів, канали тощо) на динаміку нейронів.

Рисунок B - Основні компоненти моделей типу Ходжкіна-Хакслі, що представляють біофізичні характеристики клітинних мембран (джерело).

Ця модель використовує систему диференціальних рівнянь, описану з використанням 4 змінних.

Диференціальне рівняння - це рівняння, яке показує зв'язок між функцією та її похідними. Рішенням диференціального рівняння є функція, а не числа. Диференціальні рівняння використовуються для математичного моделювання складної хімічної або фізичної системи та її еволюції.

Отже, модель Ходжкіна та Хакслі пропонує математичну модель динаміки нейрону відповідно до змін іонних концентрацій (Alexandre, 2005). Іншими словами, ми моделюємо еволюцію мембранного потенціалу Vm (тобто поведінку нейрона) як функцію струмів і, отже, зміни концентрацій іонів на рівні мембрани (що представляють потоки електричних струмів).

Е так! Основні математичні поняття є найважливішими в області обчислювальної нейронауки! Ціна, яку потрібно заплатити, щоб досягти цього рівня опису, полягає в тому, що моделювання нейрона та фортіорі нейрона, описане в глобальному (тривимірному) масштабі, є дорогим з точки зору обчислювальної потужності порівняно із моделюванням класичного формального нейрона для приклад.

Модель Хогкіна-Хакслі (коротше HH) вже має велику кількість нащадків, або у вигляді скорочених версій, як модель Фіцжу-Нагумо, або навпаки, у вигляді детальних і розширених версій, що дозволяють описувати нейрони та мережі нейронів ссавців. Ці останні моделі можуть враховувати як провідність до інших іонів (Ca 2+), так і інші пов'язані з ними механізми, такі як клітинна енергетика або явища синаптичної пластичності. Тому модель HH досить зарезервована, як і для вивчення нейробіології та електрофізіології з питаннями біології.

Модель LIF (Leaky Integrate & Fire)

Математично ця модель визначається одним простим диференціальним рівнянням:

Фізично враховується інтенсивність, яка перетинає мембранний потенціал, а змінною є просто мембранний потенціал Vm. Нейрон також може бути представлений у вигляді електричного кола, оснащеного конденсатором і опором, як на малюнку С.

Рисунок С - мембранний еквівалентний контур для моделі LIF

Модель LIF походить від праці Луї Лапіка, яка датується самим початком 20 століття, що на практиці робить її родоначальником нейронних моделей. Він поставляється в декількох формах з однією або двома змінними для останньої. Проста модель LIF, завдяки простоті реалізації, також добре використовується для відповіді на питання моделювання в біології для розробки засобів аналізу сигналів.

Модель Іжикевича

Ця модель відрізняється своєю здатністю відтворювати велику кількість нейрональної динаміки за допомогою лише двох диференціальних рівнянь. З часом були розроблені нові моделі з 2 змінними, які відповідають на наступну проблему. Модель LIF має постійний режим розряду для даного вхідного струму, але в природі багато нейронів мають внутрішні властивості обробки інформації, які LIF не може відтворити, такі як ефект відскоку або навіть випромінювання. Саме для реагування на цю проблему, зберігаючи велику математичну простоту, були розроблені 2D-нейрони. Деякі приклади цих режимів скидання наведені на малюнку D.

Рисунок D - Приклади активності нейронних моделей, що діють на струми стимуляції, виражені в амперах (зазначено А) (червоний). Модель LIF зазнає трьох постійно зростаючих хвиль струму. Часи виражаються в мілісекундах (зазначено мс), мембранний потенціал (синій) у мВ. Зліва це класична модель LIF, а праворуч - 4 моделі Іжикевича (особисті джерела згідно з https://courses.cs.washington.edu/courses/cse528/07sp/izhi2.pdf)

Як видно на малюнку D, модель LIF, що зазнає трьох зростаючих значень постійного струму, випромінює потенціали дії (спайки) при зростаючих, але все ще постійних частотах. 4 графіки праворуч показують, що при постійному струмі стимулювання з'являються нелінійні режими розряду, засновані на регулярних потенціалах дії або сплесках (сплесках потенціалів дії). Ці різні типи діяльності є репрезентативними для записів різних класів нейронів, що знаходяться в живій нервовій тканині.

Що пам’ятати з трьох статей на цю тему ?

Якщо про нейронні мережі та потенційні архітектури потрібно було пам’ятати лише одну ідею, то їх існує безліч. Залежно від домену та цільового завдання (мовлення, розпізнавання зображень, класифікація тощо), ми почуємо більше про одну мережу, ніж про іншу, оскільки перша була вивчена більше, ніж інші, або що вона виявилася більш відповідною. Крім того, деякі мережі можуть бути відхилені в декількох версіях і модифіковані, щоб бути більш ефективними для кожного завдання. Отже, єдиного рішення для даної проблеми не існує. !

Але як тільки архітектура знайдена, шлях до функціональної мережі не закінчений. Дійсно, втручаються тоді інші не менш важливі параметри: кількість нейронів на шар, кількість шарів, вибір швидкості навчання, алгоритм навчання, обсяг необхідних даних тощо. Що ви маєте на увазі ? Це вже інша історія, інша стаття !

Однак ми повинні наполягати на важливому елементі: використання імпульсних або розрядних нейронів не виключає створення додатків, які можуть бути використані в промисловості. Крім того, ви повинні знати, що є велика дискусія про те, чи дозволяє використання розрядних нейронів моделювати біологічне: якщо так, то в якому масштабі? якщо ні, чому? а як щодо моделювання когнітивного функціонування? Чи можемо ми моделювати міркування? чи прийняття рішень людиною? Ви зрозумієте, кілька запитань на розгляді! Що робить нас стільки темами статей, якими ми можемо з вами поділитися !

До тих пір, ось карта з нейронними мережами, цитованими в статтях цієї серії, класифікованими за типом випромінюваного спайку:

Стаття 1/3 використовує простий підхід до великого сімейства явних нейромереж Spike, тих, які ми докладно описали для вас у наступних двох статтях. Стаття 2/3 представляє найвідоміші класичні штучні нейронні мережі: моделі з дискретним часом, але також моделі без шипів, що самоорганізуються на картах Кохонена. Стаття 3/3 вище представляє імпульсні нейронні мережі, моделі безперервного часу.

Якщо вам відомі будь-які статті, відео, наукові посередницькі посилання навколо імпульсних нейронів або класифікації сімейств нейронних мереж, поділіться ними в коментарях !

Ця стаття завершує серію нейронних мереж та 2019 рік! Бажаючи щасливої новорічної ночі, ми сподіваємось побачити багатьох з вас у 2018 році !

Щоб процитувати цю статтю:

Ікрам Храйбі Каадуд та Андре Гарен. Архітектура нейронних мереж: Імпульсні нейронні мережі (3/3)! Публікація в блозі http://www.scilogs.fr/intelligence-mecanique, грудень 2018 року

Довідково

Александр Фредерік, 2005. Шипучі нейрони: урок біології для кодування та обробки даних. Фаузі Горбель, Стефан Дерроде, Жан-Поль Хатон та Ламія Бен Юсеф. Обробка та аналіз інформаційних методів та додатків - TAIMA'05, Хаммамет/Туніс. https://hal.inria.fr/inria-00000506/document
Chartier, S., & Boukadoum, M., 2011. Кодування статичних і часових зразків за допомогою двонаправленої гетероасоціативної пам'яті. Журнал прикладної математики, 2011. https://www.hindawi.com/journals/jam/2011/301204/
Дюран, Стефан, 1995. TOM, архітектура обробки коннекціоністської послідовності: застосування до розпізнавання мови. Докторська робота, Ненсі 1.
Гроссберг, Стівен., 2013. Теорія адаптивного резонансу: Як мозок вчиться свідомо відвідувати, вчитися та розпізнавати мінливий світ. Нейронні мережі, 37, 1-47. PDF
Мартінес, Режис, 2011. Динаміка когнітивних систем та складних систем. Докторська дисертація, Університет Люм'єра Ліона 2.
Rougier, Nicolas P, 2000. Моделі пам'яті для автономної навігації. Докторська робота, Університет Анрі Пуанкаре-Нансі I.
Салаххутдінов Р. та Ларошель Х. 2010. Ефективне навчання глибоким машинам Больцмана. У матеріалах тринадцятої міжнародної конференції зі штучного інтелекту та статистики (с. 693-700). http://www.iro.umontreal.ca/

bengioy/ift6266/H12/html/deepgm_fr.html

Торп Саймон, 2012 р. «Обробка зображень на основі шипів: чи можемо ми відтворити біологію в апаратному забезпеченні?», Семінар з біологічних та комп’ютерних зорових інтерфейсів у Фіренці, Італія, http://www-sop.inria.fr/manifestations/wbcvi2012/slides/thorpe .pdf

Один коментар до "Архітектура нейронних мереж: імпульсні нейронні мережі (3/3)!"

Я хотів би побачити, як "моделі" працюють на "простих" виробничих процесах, і чи можна реалізувати додаткові гілки з фактично зібраної інформації, а не з довільно перевірених параметрів. приклад: рівень запасу - виконуються замовлення - терміни доставки - перегляд інструментів, арбітованих спочатку, потім зібраних в IS, потім (коли система розвивається) - Як, у цьому випадку, повторно вивчити за галуззю чи функцією ?

Ідея можливості відповісти на такі запитання, як:

Коли починати виробництво, щоб воно було завершено вчасно ?

і порівняння цієї еволюціонуючої моделі з сучасним методом, щоб прагнути до реальної допомоги у прийнятті рішень, привертає все більше і більше моєї уваги, зокрема наслідків допомоги у пілотуванні та аналізі успіхів та результатів процесів.