Как компьютерные алгоритмы наказывают бедных

По всему миру — от маленького городка Иллинойс в США до Рочдейла в Англии, от Перта, Австралия, до города Думка в северной Индии — происходит революция в сфере того, как правительства разных стран обращаются с бедняками, пишет Гардиан.

Вы не можете наблюдать этот процесс и скорее всего ничего о нем не знаете. Он был спроектирован инженерами и программистами за закрытыми дверями, в тихих коридорах реальной власти, вдали от публичного внимания.

Лишь некоторые математики и компьютерщики полностью понимают титанические перемены, основанные на искусственном интеллекте (ИИ), алгоритмах прогнозирования, моделировании рисков и биометрии. Но если вы один из миллионов уязвимых людей, которые получают пособие или иную социальную помощь, скоро вы поймёте реальность происходящего — и смертельную опасность последствий.

Издание The Guardian в последние три месяца провело расследование, в ходе которого выяснило как миллиарды долларов вкладываются в инновации в сфере искусственного интеллекта и автоматизации, которые коренным образом меняют взаимодействие бедняков с государствами. Репортеры из США, Великобритании, Индии и Австралии изучили, что означает появление цифрового государства всеобщего благоденствия для самых бедных граждан. Огромные суммы расходуются правительствами в промышленно развитых и развивающихся странах на автоматизацию обслуживания бедности, превращая потребности уязвимых граждан в цифры, заменяя мнения людей, работающих в данной сфере, холодными, бездушными решениями машин.

Репортажи рисуют мрачную картину Диккензианской антиутопии 21-го века, которая формируется с головокружительной скоростью. У американского политолога Вирджинии Юбэнкс есть даже такая фраза: «Цифровизация бедности».

Послушайте, что говорят власть придержащие, и вы услышите благородные обещания того как новые технологии изменят бедность: ускорят выплату пособий, повысят эффективность и прозрачность, сократят расходы, сэкономят деньги налогоплательщиков, устранят человеческие ошибки и предрассудки и обеспечат наиболее нуждающихся доступом к ограниченным ресурсам. Но стоит ли верить этим обещаниям?

В то время, как экономический подход жесткой экономии доминирует в политическом ландшафте, миллионы людей лишаются или сталкиваются с ограничением своих возможностей ввиду внедрения компьютерных программ, которые работают так, что лишь немногие способны контролировать или даже понимать их. Ошибки стали повсеместными, и жертвы ошибок не понимают, как можно возместить полученный ущерб.

На этой неделе цифровизация бедности выйдет на мировую арену. Филипп Алстон, юрист в области прав человека, должен выступить в ООН по вопросам крайней нищеты, и представить Генеральной Ассамблее ООН в Нью-Йорке инновационный доклад, который отражает тревожные последствия для прав человека, которые возникают в результате стремления к цифровизации социальной защиты.

Анализ Алстона частично основан на официальных исследованиях ООН по вопросам бедности в Великобритании и США, а также на материалах правительств, правозащитных организаций и экспертов из более чем 34 стран. Скорее всего, он предоставит точную информацию о том, где сейчас находится мир и куда он движется, в отношении взаимодействия с теми, кто живет в мире быстро растущей цифровой бедности.

В Иллинойсе «Гардиан» обнаружил, что правительства штатов и федерации объединили свои усилия, требуя, чтобы получатели пособий погасили «переплату», растянувшуюся в некоторых случаях на 30 лет. Эта система «долга зомби», вооруженная технологиями, вызывает страх среди наиболее уязвимых слоев общества.

Как пожаловался один из получателей пособия: «Ты должен то, что съел».

В Великобритании мы исследуем особе неприметный правительственный сайт за пределами Ньюкасла, где миллионы тратятся на разработку программ в сфере социального обеспечения нового поколения, заменяющих живых сотрудников. Частные компании развивают процесс, который породил совершенно новый жаргон: «виртуальная рабочая сила», «расширенное принятие решений», «автоматизация процессов».

Правительство спешит со своей цифровой революцией, несмотря на ущерб, уже нанесенный миллионам британцев с низкими доходами из-за цифровой программы. Заявители говорили о голоде, грязи, страхе и панике, которые им в результате приходится переживать.

В Австралии, где Guardian широко освещал robodebt, схему, которую обвиняли в неправомерном требовании по возврате социальных переплат, возникших в результате использования некорректного алгоритма, мы теперь раскрываем, что правительство открыло новый цифровой фронт: использование автоматизации для приостановки миллионов социальных выплат. Получатели обнаруживают, что их лишили социальных денег без предварительного уведомления.

Самая тревожная история происходит в городе Думки, Индия. Здесь мы узнаем об ужасающей трагедии, которая случилась с семьями в результате внедрения Аадхаара, уникального 12-значного идентификационного номера, который правительство Индии выдало всем жителям в ходе крупнейшего в мире биометрического эксперимента.

Мотка Манджи пришлось заплатить жизнью за компьютерный сбой, в ходе которого система не распознала его отпечаток большого пальца — ключ к Аадхааре. В результате ему прекратили выдавать продовольственные пайки, а 22 мая он упал возле своего дома и умер. Его семья убеждена, что Мотка умер от голода.

Расследования Guardian раскрывают общие черты этих новых систем, будь то в развивающихся или развитых странах, на востоке или западе. Самое явное сходство заключается в том, что все это происходит молниеносно: высокотехнологичные подходы внедряются в социальные услуги, работу и пенсии, инвалидность и здравоохранение, часто оставаясь вне публичного обсуждения и отчетности.

В рамках этой революции человеческий элемент государства всеобщего благоденствия растворяется. Вместо того чтобы разговаривать с сотрудником, который лично оценивает ваши потребности, вы теперь находитесь в сети, где аналитический компьютерный инструмент назначит вам оценку будущего риска, а алгоритм решит вашу судьбу.

В новом мире неравенство и дискриминация могут стать обыденной вещью. Что произойдет, если вы будете одним из пяти миллионов взрослых в Великобритании, не имеющих постоянного доступа в Интернет и практически не владеющих компьютерной грамотностью? Что если алгоритм просто примет к сведению существующие искажения расы и класса, сделав пропасть между богатыми и бедными, белыми и черными, работающими в колледже и работниками физического труда, еще более выраженной?

Это пугающее явление охватывает весь земной шар. Как обнаружил на себе индус Манджи, ошибки случаются. Машины глючат. Если в пределах досягаемости нет никого, кто рассматривал бы вас как личность, а не как 12-значное число, подлежащее обработке, результаты могут быть фатальными.

Компьютер говорит «у вас нет начислений». И что вам в результате делать?