Що таке a; насичений; модель
Що ми маємо на увазі, коли кажемо, що маємо насичену модель?
У насиченій моделі існує стільки оцінюваних параметрів, скільки точок даних. За визначенням, це дає ідеальну відповідність, але статистично це мало корисно, оскільки у вас більше немає даних для оцінки дисперсії.
Наприклад, якщо у вас є 6 точок даних і ви підбираєте поліном 5-го порядку до даних, ви отримуєте насичену модель (один параметр для кожної з 5 ступенів ваших незалежних змінних плюс один для постійного доданка).
Насичена модель - це модель, яка перепараметризована до такої міри, що в основному вона просто інтерполює дані. З деякими налаштуваннями, такими як стиснення та реконструкція зображень, це не обов'язково погано, але коли ви намагаєтеся побудувати модель прогнозування, це дуже проблематично.
Коротше кажучи, насичені моделі виробляють надзвичайно великі дисперсійні предиктори, на які впливає більше шум, ніж фактичні дані.
Як експеримент з думками уявіть, що у вас насичена модель, і дані містять шум. Тоді уявіть, що ви підходите до моделі кілька сотень разів, кожен раз з різною реалізацією шуму, а потім прогнозуєте новий момент. Швидше за все, ви будете отримувати кардинально різні результати щоразу як для своєї придатності, так і для прогнозу (і в цьому відношенні поліноміальні моделі особливо кричущі). Іншими словами, дисперсія пристосування та предиктора надзвичайно висока.
На відміну від цього, модель, яка не є насиченою (якщо вона розумно побудована), дає відповідність, яка є більш послідовною навіть при різній реалізації шуму, і дисперсія предиктора також зменшується.
Модель насичується тоді і лише тоді, коли вона має стільки параметрів, скільки точок даних (спостережень). Іншими словами, у ненасичених моделях ступені свободи перевищують нуль.
Це в основному означає, що ця модель є марною, оскільки вона не описує дані більш ощадливо, ніж вихідні дані (а опис даних більш ощадливий, як правило, ідея використання моделі). Крім того, насичені моделі можуть (але не обов’язково) забезпечувати (марну) ідеальну відповідність, оскільки вони лише інтерполюють або повторюють дані.
Наприклад, візьмемо середнє значення як модель для деяких даних. Якщо у вас лише одна точка даних (наприклад, 5), то використання середнього значення (наприклад, 5; зауважте, що середнє значення є насиченою моделлю лише для однієї точки даних) взагалі не допоможе. Однак якщо у вас вже є дві точки даних (наприклад, 5 і 7), і ви використовуєте середнє значення (наприклад, 6) як модель, ви отримаєте точніший опис, ніж вихідні дані.
Як сказали всі інші, це означає, що у вас стільки параметрів, скільки точок даних. Отже, ніяких тестів на придатність. Однак це не означає, що модель може "за визначенням" ідеально відповідати кожній точці даних. На власному досвіді я можу розповісти вам, як ви працювали з деякими насиченими моделями, які не могли передбачити певні точки даних. Це досить рідко, але можливо.
Іншим важливим питанням є те, що насичене не означає марно. Наприклад, у математичних моделях людського пізнання параметри моделі присвоюються конкретним когнітивним процесам, що мають теоретичне підґрунтя. Коли модель насичена, ви можете перевірити її доцільність, проводячи цілеспрямовані експерименти з маніпуляціями, які повинні впливати лише на певні параметри. Якщо теоретичні прогнози погоджуються із спостережуваними різницями (або відсутністю) в оцінках параметрів, можна сказати, що модель є дійсною.
Наприклад, уявіть модель, яка містить два набори параметрів, один для когнітивної обробки та другий для рухових реакцій. Уявіть, у вас є експеримент з двома умовами, коли чуйність учасників погіршується (вони можуть використовувати лише одну руку замість двох), а інша умова не має порушень. Якщо модель вірна, в оцінках параметрів для обох умов повинні бути відмінності лише для параметрів реакції двигуна.
Також зауважте, що навіть якщо модель не є насиченою, її все одно неможливо ідентифікувати. Це означає, що різні комбінації значень параметрів дають однаковий результат, що впливає на відповідність моделі.
Щоб отримати додаткову інформацію про ці теми загалом, ви можете переглянути наступні статті:
Бамбер, Д. та ван Сантен, JPH (1985). Скільки параметрів може мати модель і все ще перевіряється? Журнал математичної психології, 29, 443-473.
Бамбер, Д. та ван Сантен, JPH (2000). Як ви оцінюєте перевіреність та ідентифікацію моделі? Журнал математичної психології, 44, 20-40.