Методи вимірювання досліджень; EWSTПерекласти
Хоча молоді ІТ-дослідники поінформовані про необхідність отримання результатів дослідження, точні вимоги не вказані. Натомість дослідники зазвичай отримують невиразне заохочення отримати щось «важливе» або «мати високоякісні публікації» без чіткого пояснення того, що це означає.
Молодшому досліднику може здатися, що серед людей похилого віку існує змова - вони мають секретний метод оцінки досліджень, але не бажають його розкривати. Зрештою, ви можете почути невиразне твердження, наприклад: "Дослідження просто означає накопичення знань" або менш розумне: "Це важко визначити, але я знаю хороші дослідження, коли бачу їх".
Причина, по якій нижчий працівник не може отримати більш точне пояснення щодо вимірювання досліджень, полягає в тому, що немає єдиного пояснення. Натомість існує безліч заходів - кожна група прагне використовувати міру, яка максимізує цілі. Справді, хтось хоче висловитись за чи проти людини, він обирає міру допомоги.
Якщо ви молодший науковий співробітник, цей посібник для вас. Він містить перелік заходів, пояснює кожен із них та наводить реальні факти. Знання списку допоможе вам вразити інших, коли ви будете говорити про дослідження, і допоможе вам уникнути підводних каменів.
Щоденник паперовий підхід
(бажано редакторами журналів)
Міра: N, загальна кількість опублікованих робіт.
Мотивація: Дослідник, який генерує нову ідею, пише статтю, яка потім переглядається колегами та публікується в архівному журналі. Таким чином, кількість робіт є мірою продуктивності праці.
Факти: Стандарти публікацій дуже різняться: деякі конференції та журнали приймають усі коментарі, а інші - лише деякі. Що ще важливіше, майже всі дослідження марні; документи ніхто не читає. (Одне дослідження підраховує, що в середньому дану дослідницьку роботу читають 0,5 людини, число нахиляється вгору на кілька робіт, прочитаних тисячами).
Попередження: Хоча вони стверджують інакше, мандатні комітети використовують цей захід, оскільки набагато легше підрахувати документи, ніж оцінити їх заслуги. Майте на увазі, що людей із сивим волоссям цей показник особливо любить, бо вони заробляють цитуванням - їх особиста цінність набагато вища, ніж у молодого дослідника. Використовуючи цей показник, не хвалитесь співавтором, оскільки кредит зменшується, коли у творі кілька авторів.
Наближається до темпів публікації
(перевага надається молодим дослідникам)
Міра: N/T, загальне співвідношення опублікованих робіт до моменту публікації.
Обгрунтування: кількість робіт недостатня, оскільки вона не вимірює продуктивність - якщо дослідник публікує 10 робіт протягом року, це надзвичайно продуктивно, але якщо він публікує 10 робіт протягом життя, вони надзвичайно непродуктивні.
Факти: Частота публікацій дослідника змінюється з часом; реальні піки з’являються безпосередньо перед тим, як особа розглядається для просування по службі, і ставка зазвичай різко падає за роки до виходу на пенсію. Таким чином, як старий дослідник, вони більше не говорять про Н/Т і повертаються до вимірювання Н. Застереження: Керівні комітети стурбовані тим, хто посилається на цей захід. Плюс, будьте реалістами - купа шатенок не буде винагороджувати вас за високу ставку, коли вони самі стикаються зі швидкістю, яка впала.
Зважений підхід до публікації
(переважно агентствами з акредитації)
Міра: W, сума ваг, присвоєних опублікованим роботам.
Обґрунтування: Оскільки деякі статті є більш інтелектуальним досягненням, ніж інші, кожен документ повинен мати вагу, пропорційну його якості. Замість підрахунку паперів слід використовувати суму ваг. Наприклад, не дослідницькі роботи можуть мати нульову або майже нульову вагу.
Факти: Замість того, щоб оцінювати кожен окремий документ, люди, які використовують цей метод, призначають вагу кожному журналу відповідно до його престижності, а потім використовують значення для будь-якого паперу, що з’являється в журналі. Звичайно, престиж журналу з часом змінюється, і немає жодного журналу, в якому всі роботи були б однакової якості, але, схоже, це не має значення. Принадність міри полягає в тому, що, беручи до уваги набір публікацій, ви можете вибрати ваги, щоб список виглядав добре чи погано.
Попередження: обговорюючи цей захід, майте на увазі, що вибір ваг є довільним і що, хоча людина може подати докази, що обґрунтовують свій вибір, врешті-решт, схоже, всі віддають перевагу набору ваг, який надає високій оцінці персональній рекламі.
Підходять мільйони мавп
(переважно урядовими грантовими агентствами)
Міра: G, загальна сума грошей платників податків, розподілених на дослідження.
Мотивація. Якщо врахувати досить довгий час, випадковий набір дослідників, що натискає на клавіатури, врешті-решт напише статтю про те, що буде корисно для країни. Для того, щоб стимулювати більше дослідників виробляти більше робіт, уряд збирає пропозиції та дає гроші на найкращий відсоток ». Отже, надання більших грошей стимулюватиме більше робіт, що збільшить користь для країни.
Факти: система грантів ближче до лотереї, ніж національна вигода. Щоб усе було «рівним», державні установи часто дотримуються політичного порядку денного, а це означає, що ймовірність отримання гранту може залежати від таких факторів, як розмір установи, географічне розташування, раса та стать. У крайніх випадках заявник отримає лист із повідомленням про те, що його обрали для отримання гранту, але він повинен переглянути свою пропозицію, оскільки науковий зміст неприйнятний.
Увага: Не сприймайте це особисто так чи інакше - державний грант не обов’язково означає, що у вас чудова ідея, а відмова у державному гранті не означає, що ця ідея не має ніякої цінності.
Підхід до прямого фінансування
(бажано керівниками відділів)
Міра: D, загальна сума безповоротних коштів, отримана дослідником.
Обгрунтування: Дослідники, яким присуджуються гранти на дослідження, повинні мати хороші ідеї (інакше грантодавство не присуджувало б гроші). Отже, більше грошей має означати більше ідей.
Реальні факти: Керівників департаментів цікавить лише враження деканів та керівників департаментів інших установ - вони люблять хвалитися загальною сумою безповоротних коштів, принесених усіма членами їх департаменту. На жаль, сума безповоротних коштів, яку можна зібрати, залежить більше від наявної суми, ніж від якості пропонованого дослідження. Уряди дають більше, коли їх груди переповнюються (або коли вони мають певні політичні переваги); галузь пропонує набагато більше, коли прибуток високий (або коли вони можуть отримати звільнення від податку).
Попередження: Знову ж таки, не читайте занадто багато в грантах - незалежно від того, хто каже, що сума грошей, яку ви отримуєте (менше чи менше), не завжди пропорційна якості ваших ідей.
Метод непрямого фінансування
(бажано адміністраторами університетів)
Міра: О, загальна сума сформованих доларів.
Обґрунтування: Коли досліднику присуджується 1 долар державних грошей, 1/3 їх позначається як "непрямі витрати" або "накладні витрати", які оплачують офісні приміщення, електроенергію та облік понесених витрат. Накладні витрати - це показник обсягу дослідника в установі.
Факти: Офісні приміщення потрібні з грантом або без нього, а великі наукові установи вже мають процедури та системи бухгалтерського обліку. Таким чином, непрямі витрати є лише одним із способів вилучення грошей із науково-дослідних фондів.
Попередження: Забезпечення обладнання звільняються від непрямих витрат, тому не хвастайте адміністратору великим грантом на обладнання - вони не будуть вражені. Також майте на увазі, що непрямі витрати генеруються тоді, коли гроші витрачаються, а не коли вони присуджуються. Таким чином, якщо ви витратите гроші в січні, а не в грудні, витрати будуть враховані у новому, а не старому році.
Нижній підхід
(переважно лабораторіями промислових досліджень)
Міра: P, прибуток, отриманий патентами або продуктами, отриманими в результаті досліджень.
Мотивація: Промисловість створює науково-дослідну лабораторію на користь бізнес-підрозділів, а не просто як спосіб витратити надмірний прибуток. Таким чином, у промисловому світі логічно вимірювати дослідження за тим, як вони допомагають підсумку.
Реальні факти: Майже жодне дослідження не має реального впливу на прибуток компанії. Навіть якщо дослідницька ідея перетворюється на товар, отриманий дохід набагато більше залежить від маркетингу, ніж від якості основної ідеї (є навіть деякі докази зворотного зв'язку між якістю продукції та прибутком).
Попередження: Дохід є жахливим показником якості досліджень, оскільки дурні або тривіальні ідеї часто приносять найбільший прибуток; не вважайте, що ідея має наукові достоїнства лише тому, що вона заробляє гроші, і не означає іншого, якщо вона цього не робить.
Оцінка підходу впливу
(віддають перевагу дослідники, які насправді щось роблять)
Висновок
Якщо ваше дослідження не виглядає добре в поточному вимірі, можливо, час змінити міру!