Кейт Кроуфорд «Упередженість стала сировиною; ІА ”; Інтернет-новини
Кейт Кроуфорд (@katecrawford) є співзасновницею (разом із Мередіт Віттакер, @mer__edith) Інституту AI Now (@AINowInstitute, блог). Дослідниця з Microsoft Research, професор Нью-Йоркського університету, вона спеціалізується на вивченні соціальних наслідків технічних систем, включаючи ефекти великих даних, алгоритмів та штучного інтелекту. З нагоди відкриття гостьового крісла ШІ та юстиції, яке було відкрито у вищій школі École, вона провела захоплюючу презентацію про виклики цих технологій. Давайте знайдемо час, щоб розгорнути його !
"Ми стикаємося з безпрецедентною технічною системою, яка дуже швидко впливає на всі сектори - від освіти до охорони здоров'я, від економіки до правосуддя ... І трансформація, що відбувається, супроводжується зростанням авторитаризму та популізму". Цей розвиток подій не випадковий, стверджує дослідник: обидва ставлять під сумнів централізацію влади і вимагають вдосконалення нашого критичного розуміння форм влади. Ця комбінація посилює труднощі в оволодінні цими інструментами та зробіть їх підзвітними та вимагає глибокого розуміння взаємозв’язків між політикою, владою та ШІ. "ШІ - це нова інженерна енергетика". Наука, суспільство та органи влади повинні знайти способи бути по-справжньому відповідальними. "Це більше, ніж питання справедливості, лояльності, чесності чи відповідальності! Це питання справедливості! », Представляє Кейт Кроуфорд не без пристрасті.
Зображення: Кейт Кроуфорд на сцені ENS, сфотографована Стефані Заєць.
Кроуфорд згадує Елізу, першого чат-бота, розробленого в 1960-х роках інформатиком Джозефом Вайценбаумом. Цей піонер ШІ вже попереджав нас, що привабливий потенціал ШІ ризикує змусити нас забути та ігнорувати його глибокі політичні наслідки. Еліза була програмою дуже простою, але багато хто з нею грав, були вражені цією програмою, переконані, що хтось ховається, щоб поговорити з ними. "Тоді найрозумніші люди у світі думали. Штучний інтелект, і це було захоплююче … »Вайценбаум вже попереджав про розчарування, яке повинно відбутися разом із ШІ, і наголосив, що ці технології дозволять інженерам тримати на відстані людські витрати на розроблені ними системи. Це саме те, що сказав молодий інженер із програми інтелектуальної поліції. Ми продовжуємо ігнорувати соціальні наслідки створених нами інструментів. 60 років потому ми все ще зачеплені цими проблемами, проте соціальні зміни, які виробляє ШІ, є глибокими. Ми повинні займатися цими соціальними, етичними та політичними проблемами з однаковою відданістю та тією ж строгістю, яку ми застосовуємо до оптимізації технічних систем !
ШІ - це технологія, соціальна практика та промислова інфраструктура одночасно
"Упередження стали сировиною ШІ"
Щоб бути ще конкретнішим, дослідниця змушує свою аудиторію подивитися на зображення, що живлять наші системи, відкрити капот і зрозуміти, як працює навчання систем розпізнавання зображень. Він бере приклад набору мічених зображень, які зазвичай використовуються для навчальних систем розпізнавання зображень. Це набір із 13 000 кадрів, який використовується для навчання систем розпізнаванню шаблонів ... Але це не без упередженості. Він складається з 78% портретів чоловіків та 84% портретів білих людей, що означає, що системи, навчені за цими даними, найкраще працюватимуть на білих чоловіках. Ця гра була складена, головним чином, за допомогою "вишкрібання" (тобто вилучення даних, не обов'язково за згодою місця, звідки вона висмоктувалась) фотографій з Yahoo News між 2002 і 2004 роками, де той факт, що обличчя, яке є Найбільш присутнім в основі є Джордж Буш. Цей простий приклад підкреслює, як набори даних відображають існуючі соціальні ієрархії та структури влади.
Інший приклад - використання AVA, бази даних анотованих відео, що дозволяє машинам зрозуміти людські дії та людську діяльність, наприклад, проведення напою або сидіння на стільці. Проблема полягає в тому, що коли ви дивитесь відео, пов’язані з деякими діями, як-от гра з дітьми, ви бачите лише жінок, а чоловіків немає. Якщо ви шукаєте категорію ногами, ви знайдете лише жорстокі сцени з чоловіками, які практикують кунг-фу! Ці приклади показують, що ці навчальні бази розкривають особливе бачення нашого життя, дуже нормативне, дуже стереотипне і дуже обмежене.
Ці упередження не лише забруднюють зображення, вони також містяться в словах, які ці системи використовують для машинного перекладу, або в автоматичному маркуванні зображень та відео. Одне дослідження виявило, що слова, які ми використовуємо, часто мають сильну гендерну конотацію. Таким чином, такі слова, як "геній" або "тактика", асоціюються головним чином із займенниками чоловічого роду, тоді як такі слова, як "красивий" або "лекція", асоціюються із займенниками жіночого роду. Звичайно, ці мовні упередження виявляються в емоційному аналізі, який полягає у визначенні емоцій за текстами чи зображеннями облич чи поглядів. Коли він був випущений, API природничої мови Google пов’язував такі терміни, як єврейська чи гейська, із негативними почуттями (див. «До автоматизованих та емпатичних взаємодій»). Термін Біла сила асоціюється з позитивними настроями, на відміну від феміністичного терміну ... "Упередженість стала сировиною ШІ"
Як узагальнено на невеликій жартівливій графіці комп’ютерного вченого Моріца Хардта (@mrtz), довгий час думали, що з машинним навчанням все гаразд, поки системи та дослідження не розмножилися ... і не показали масштаби проблеми дискримінації, і це хоча розгортання цих систем зачіпає і впливає на мільйони людей, пояснює вона, демонструючи зображення Джека Ніколсона в "Сяючому", його галюцинаційне обличчя в отворі дверей, яке він приходить розбити сокирою і яке програмне забезпечення для аналізу зображень характеризує як " щасливий ".
Зображення: Обличчя Джека Ніколсона у The Shining подано в інструмент аналізу настроїв Microsoft, який називає його "щасливим".
Хоча вона не згадувала про це на сцені ENS, зауважте, що Кейт Кроуфорд та художник Тревор Паглен (@trevorpaglen) щойно запустили провокаційний проект ImageNet Roulette, який використовує нейронну мережу, навчену за категоріями, що використовуються для опису зображень людей з База даних ImageNet, широко використовується для системного навчання. Рулетка ImageNet дозволяє людям завантажувати портрет та бачити теги, призначені йому ШІ. Дуже часто ці ярлики виявляються особливо жорстокими, женоненависницькими або расистськими ... Спосіб просто і конкретно показати проблеми, порушені ШІ. Есе, що супроводжує проект та пов'язану з ним виставку, також дуже конкретно деталізує межі навчальних наборів, що надаються машинам, складність їх маркування, незалежно від того, людина чи вона навчається самостійно.
"Коли ви оптимізуєте систему, яка має дискримінаційний характер, що ви оптимізуєте? Кейт Кроуфорд вказує на інше дослідження "Відтінки статі" (див. Статтю Wired), в якому випробувано кілька систем розпізнавання обличчя, щоб показати, що вони розпізнають чоловіків краще, ніж жінок, незалежно від кольору шкіри. і навіть набагато менше для жінок з темнішою шкірою! "У суспільстві завжди залишаються одні й ті самі соціальні групи, як це бачиться через технічні системи, піддані несправедливості, нагляду, бідності" (про це також говорила дослідниця Вірджинія Юбанс у своїй книзі "Автоматизація нерівностей").
Потужність (і ризик) для класифікації
За своєю природою ШІ класифікує, сегментує та сукупності. Це особливість, а не помилка. Однак класифікація завжди була формою влади. Класифікація завдає ще більшої шкоди, ніж упередження. Потім дослідник швидко згадує історію наукової класифікації. Особливо вона викликає френологію, цю псевдонауку, яка сподівалася визначити інтелект чи злочинність за морфологічними ознаками (див. "Чи великі дані - це нова френологія?"). Для цієї псевдонауки найбільш осудливі особливості були зарезервовані для жінок та незнайомців. Ставка цих форм рейтингу вже полягала у утвердженні сили могутніх.
Прискорення класифікації з'являється наприкінці 19 століття. Коли співробітник Бюро перепису населення США Герман Холлерит винайшов механографію, статистичну машину, яка працює з перфокарт. Натхненний трамвайним пуансоном, Холлерит механізує читання переписних карток, щоб пришвидшити їх обробку. Він залишив адміністрацію, щоб створити свою компанію, яка в 1917 році стала Міжнародною корпорацією корпоративних машин, більш відомою з тих пір як IBM. У 1934 році німецька дочірня компанія IBM запропонує такий тип рішення для нацистського режиму, який використовуватиме його для ведення расових реєстрів населення.
Геополітика ШІ: формулювання справедливості та ШІ
Проте ми вже реагували на виклики та небезпеки цього типу. Наприклад, коли справа стосується ядерного ризику або генної інженерії, ми намагалися встановити правила та запобіжні заходи, - каже дослідник з великим оптимізмом. Наукове співтовариство має працювати над розумінням соціальних наслідків ШІ, включаючи його потенціал для прискорення нерівності. Для цього нам потрібна етика, вважає дослідник. Інженери, які розробляють ці системи, несуть велику відповідальність, оскільки системи, на яких вони працюють, впливають не лише на мільйони людей, а й на майбутні покоління.
Однак етика - це не готове рішення, якого достатньо для застосування. Вона задається питанням, як забезпечити чітку та публічну підзвітність форм управління тим, ким вони керують. Але для Кейт Кроуфорд, перш за все, нам потрібно сформулювати питання справедливості та ШІ. Для неї питання в більшій мірі справедливості, ніж справедливості. Економічна, політична, соціальна, екологічна справедливість ... Нам потрібно знайти засоби для цих автоматизованих систем для обліку їх діяльності, їхніх дій ... І це обов’язково передбачає розробку засобів контролю, нормативних актів та законодавства. Але також через індивідуальні та колективні дії, які ми проводимо ... І Кейт Кроуфорд, щоб згадати роль французького інженера перепису Рене Каміля, який працював проти машини для ідентифікації євреїв за нацистського режиму. Кожен інженер має спосіб використовувати свою силу етично ... Для дослідника ми повинні використовувати цей критичний момент нової технології. Згадаймо небезпеку історії класифікації, робить вона висновок. І давайте переконаємось, що ми будуємо світ, де кожен може жити.
Після свого втручання Кейт Кроуфорд відповіла на кілька запитань присутніх. Щоб визначити упередженості, запитує одна людина, все одно потрібно мати можливість їх виявити ... Багато даних, наприклад, не включають інформацію про етнічне походження людей. Щоб мати можливість виправити це запитання, чи не є ризик того, що ми завжди більше загрожуємо конфіденційності? І Кейт Кроуфорд підтримала: знову ж таки, навіть збираючи більш точні дані, залишається питання, як зробити їх нейтральними, як конкретно виправити результати? Наприклад, часто расові дані дуже загальні: у США ми найчастіше маємо 4 категорії: чорний, білий, азіатський та інші! Хто в чому? Що відображають ці категорії ?
Чи слід забороняти ШІ в певних секторах, і якщо так, то в яких? Як оцінити ризик інновацій? - запитує інший учасник. 3 роки тому ніхто не розглядав можливість заборони розпізнавання обличчя ... А тепер подивіться на еволюцію цього питання, особливо в Каліфорнії та Сан-Франциско! Він рухається швидко. Особисто я вважаю, що нам потрібні мораторії в певних секторах, стверджує дослідник. У світі медицини або фармації ми не дозволяємо виробникам нічого робити ... Звичайно, це означає розуміння ризиків, що не завжди так просто. Якість дискусій щодо цих питань як з політичного боку, так і серед широкої громадськості значно покращилась, навіть якщо питання є складними. Потрібна велика сміливість і тиск громадськості, щоб протистояти силі великих компаній у цьому секторі нав'язувати порядок денний. !
Якщо ШІ є упередженим, люди також несуть свої власні упередження ... Між упередженнями рекрутера людини та ухилами автоматичного рекрутера, хто може бути більш об’єктивним? Чи можемо ми зробити ШІ кращим за чоловіків? - запитує інша людина. Те, що світ перекошений, не означає, що нам потрібно додати ще один шар, - заперечує Кейт Кроуфорд. Слід визнати, що судження суддів необ’єктивні, але вони діють у системі, де їх повноваження збалансовані. Їх рішення повинні бути обґрунтованими. Існують гарантії та інституційні гарантії, процедури, засоби правового захисту ... У галузі автоматизованих рішень ми також повинні розробити процедури та гарантії. !
Відповідаючи на інше запитання щодо дедалі інвазивнішого збору персональних даних, дослідник наголошує, що голосові помічники, наприклад, для функціонування, потребують дедалі більш конкретних та контекстуалізованих даних. "Ми в гонці з обробки даних, і це культура, яку потрібно змінити! »Ці системи не є стійкими, і нам потрібні моделі, які використовують якомога менше даних !