Просто ігноруйте!
Шоколад допомагає схуднути? Червоне вино лікує рак? Безглузді дослідження публікуються щодня. Ми завжди повинні задавати собі три важливі питання.
Шоколад робить вас стрункими! Хто б міг це подумати? Але цифри зрозумілі: випробовувані отримували дієту з низьким вмістом вуглеводів протягом трьох тижнів - одна група також отримала завдання їсти шоколад у плитці на день. Ось і ось: шоколадна група схудла більше, ніж група без шоколаду. Чудовий тріумф шоколаду та чудова історія, яка потрапила на перші сторінки у всьому світі.
Коли такі результати дослідження представлені в науці, найперше питання: чи є результат статистично значущим? Між двома групами завжди існують відмінності - одна матиме в середньому трохи вищий артеріальний тиск, одна в середньому взутиме більші черевики, одна втратить більше ваги, ніж інша. Це неминуче. Питання в тому, чи можна пояснити ці відмінності просто випадковістю чи вони є результатом реального причинно-наслідкового зв'язку.
Це можна обчислити статистично - говорять про "статистичну значущість", коли ймовірність того, що така різниця між двома групами виникає суто випадково, без основної причини.
У випадку з дослідженням шоколаду справа була зрозумілою: математично результати були статистично значущими. То чи математично це доводить, що шоколад допомагає схуднути? Ні, не довго!
Значимість: розрахована нісенітниця
Історія шоколаду для схуднення була чистою нісенітницею. Це був медіа-експеримент журналістів, які хотіли привернути увагу до проблеми поганого висвітлення поганих досліджень. Було навмисно проведено жалюгідне дослідження з надто малою кількістю учасників і смішно коротким періодом спостереження, щоб визначити, чи будуть засоби масової інформації безперечно відтворювати його.
Вимірювали цілий діапазон параметрів - не тільки вагу, але також різні показники крові, загальне самопочуття та кілька інших. При будь-якому індивідуальному значенні ймовірність знайти велику різницю між цими двома групами за чистим збігом обставин досить мала, але якщо ви дослідите достатньо значень, ви з часом знайдете різницю, яка виглядає статистично значущою. Потім ви можете з ентузіазмом повідомляти про це, ні про що інше.
Хороші дослідження: Чесні або обмануті?
Якщо результат статистично значущий, дослідження усунуло лише найпершу перешкоду. Потрібно також поставити питання: чи добре було проведено дослідження? Чи насправді воно вимірює те, що має вимірювати - чи це просто результат, який сподобався авторам?
Такі брудні хитрощі досить поширені. Припустимо, я хочу довести, що червоне вино знижує ризик раку. У мене є дві групи - група тих, хто п’є червоне вино і одна, яка не п’є червоного вина. Прикро, але я не знаходжу статистично значущої різниці в частоті раку. Однак я можу розбити дані на різні типи раку - від лейкемії до раку шлунка до раку легенів. Тоді раптом у мене є набагато більше можливостей випадковим чином знайти відмінності між двома групами. Якщо я шукаю досить довго, я гарантовано виявляю рак, який набагато рідше зустрічається у групі червоних вин. (І, мабуть, ще один, хто частіше з’являється в цій групі - але мені не потрібно включати це у свій прес-реліз.)
Крім того, статистичний зв’язок не означає, що одне є причиною іншого. Можливо, багатші люди п'ють більше червоного вина і можуть одночасно дозволити собі кращу медичну допомогу? Такі незрозумілі фактори повинні бути враховані при хорошому дослідженні.
Клінічна значущість: Чи має це якесь значення?
Але навіть якщо дослідження дає високо статистично значущі результати і воно добре виконане, можливо, все ж краще проігнорувати його. Є третє питання, яке потрібно задати - і про яке часто забувають: чи є результат клінічно важливим? Чи достатньо великий ефект, про який варто взагалі подумати?
Припустимо, ми розробляємо препарат, який скорочує тривалість грипозної інфекції - із середніх чотирнадцяти днів до тринадцяти днів і шістнадцяти годин. Припустимо, наше дослідження настільки гарне, що ми можемо довести цей ефект поза будь-якими сумнівами, хоча воно настільки мало. Чи були б тоді лікарі з ентузіазмом рекомендувати цей препарат? Можливо, ні. Пацієнти насправді не помітять ефекту - навіть якщо він насправді може бути.
Ми часто потрапляємо в цю пастку - не тільки тоді, коли є позитивні наслідки, але ще частіше, коли паніка повідомляє про небезпеку: чи є акриламід у картоплі фрі шкідливим? Так, трохи. Але чи це актуально? Чи не варто лякатися, якщо вас не турбує чотирнадцять сигарет, які ви викурюєте щодня? Чи збільшують солі алюмінію в дезодоранті ризик розвитку раку? Можливо, ні - але навіть якби попереджувальні голоси були правильними, ефект був би настільки малим, що сотня інших рішень, які ми приймаємо щодня, мала б більший вплив на наше здоров’я. Чи олівці викликають рак? Так, можливо, якщо ви їх їсте багато. Але в будь-якому досить реалістичному сценарії повсякденного життя це взагалі не має значення.
Самої статистики недостатньо. Те, що десь у газеті написано „статистично значуще”, не означає, що ми повинні бути вражені. Ми також завжди повинні враховувати, наскільки великий ефект, чи накладається він на інші ефекти, як пов’язаний з іншими ефектами. Тільки тоді ми можемо вирішити, чого боятися, а чого безпечно ігнорувати.
Флоріан Айгнер - фізик і вчений. Він займається не тільки захоплюючими темами в природничих науках, але часто також езотерикою та забобонами, які так люблять маскуватися під науку. Кожного другого вівторка він пише про науку, нісенітницю та різницю між цими двома областями в майбутнійзоні.