TechFusion.ruЛюдиОруэллу не снилось: Китай выстроит «искренние отношения» с гражданами при помощи рейтингов и тотальной слежки

Оруэллу не снилось: Китай выстроит «искренние отношения» с гражданами при помощи рейтингов и тотальной слежки

Большой Брат

Доверие к государственным, общественным и коммерческим институтам снизилось до рекордных минимумов. В то же время миллионы людей готовы сдавать жилье совершенно неизвестным нанимателям, ездить с незнакомыми водителями, обменивать цифровую валюту — и даже верить ботам. Разобраться в том, кому стоит доверять, в будущем поможет личностный мониторинг: уже сейчас в КНР тестируют системы, призванные составить рейтинг «благонадежности» граждан. Чем может быть опасен «заботливый» надзор таких систем?

Это не век недоверия, это век «распределенного доверия». И изменения парадигмы под влиянием новых технологий, задающих новые правила такого «очень человеческого» вида отношений. Намечается кардинальная трансформация с серьезными последствиями для общества в целом — и каждого в отдельности.

Как технологии сближают нас и почему они могут нас разъединить, анализирует Рейчел Ботсман в своей книге Who Can You Trust? How Technology Brought Us Together and Why It Might Drive Us Apart, вышедшей недавно в издательстве Penguin Portfolio. Отрывок из книги опубликовал портал Wired.

Исследуя механизмы доверия, Ботсман, в частности, анализирует идею создания в Китае системы социальных рейтингов, призванной оценить «благонадежность» каждого из граждан. Пока разработкой пилотных проектов занимаются восемь частных компаний, но к 2020 году предполагается развернуть программу на национальном и государственном уровне.

Ботсман предлагает представить, что все действия человека в течение дня отслеживаются и оцениваются. Например, контролируются онлайн-покупки, текущее местонахождение и круг друзей. А еще — время, затрачиваемое на контент или видеоигры, оплата налогов и счетов. Представить такое несложно, потому что все это уже отчасти происходит. В основном — благодаря информационным гигантам во главе с Google, Facebook и Instagram. Или фитнес-приложениям вроде Fitbit.

А что, если все эти действия оценивались бы положительно или отрицательно и сводились в единый общий показатель по неким правилам, заданным государством? Нет, это не футуристическая иллюстрация безграничных возможностей «Большого Брата». Власти КНР преподносят систему социальных рейтингов как механизм повышения «доверия» в стране — и формирования культуры «искренности». Это должно сформировать модель общественного мнения, в которой благонадежность будет важным достоинством.

Но есть и менее оптимистичные точки зрения на цели проекта. «В своем роде это отслеживание клиентских действий на Amazon с политической подоплекой в духе Оруэлла», — полагает Йохан Лагерквист, специалист по Китаю из Шведского института международных дел.

Пока технически участие в балльно-рейтинговой системе добровольное, но к 2020 году схему предполагается сделать обязательной. Индивидуальный рейтинг будет присваиваться каждому физическому и юридическому лицу. Среди компаний, занятых пилотными проектами — Sesame Credit, финансово-страховое направление Ant Financial Services Group (AFSG) аффилированной структуры Alibaba.

Sesame Credit сотрудничает с другими платформами, генерирующими большой объем данных. Среди них — крупнейший в стране сервис знакомств Baihe и некогда основной конкурент Uber на местном рынке, сервис Didi Chuxing, впоследствии купивший китайский бизнес международного бренда.

Большой Брат проанализирует человека и его связи. И поставит персональную оценку

В Alibaba не раскрывают «сложный алгоритм» вычисления баллов, но называют пять учитываемых факторов. Во-первых, кредитная история, включая задолженности по кредитам и оплате счетов за электричество и телефон. Во-вторых, договорная дисциплина — выполнение контрактных обязательств, например, по финансовым продуктам той же Alibaba и счетам Alipay. Третий фактор — анализ предоставленной личной информации: домашнего адреса, телефонных номеров, сведений об образовании и месте работы.

Но самое интересное, отмечает Ботсман, — личные характеристики и предпочтения людей. Они вычисляются, к примеру, на основе онлайн-покупок анализируемого. Если человек играет в видеоигры по десять часов в сутки, он будет оценен как бездельник. А тот, кто часто заказывает подгузники, судя по всему, воспитывает ребенка. Как родитель, он, вероятнее всего, будет считаться достаточно ответственным. Ботсман отмечает, что система не только оценивает модели поведения, но и формирует их, не поощряя покупки, которые выглядят неуместно или подозрительно.

Пятая категория — круг общения. Что о вас может говорить ваш круг общения и социальные взаимодействия? Если вы распространяете «положительную энергию» онлайн — например, благосклонные комментарии в отношении властей, — ваш балл повышается. В Alibaba утверждают, что негативные комментарии не влияют на результат, но если алгоритм не раскрывается, проверить это невозможно, отмечает Ботсман.

На рейтинг субъекта будут также влиять действия его онлайн-друзей, и не только в прямом общении друг с другом. Если кто-то из онлайн-окружения оцениваемого разместит негативный комментарий, это будет тянуть вниз и соответствующий рейтинг друга, полагает Ботсман.

Так почему миллионы пользователей уже подписались на проект, который можно приравнять, по сути, к гласной и создаваемой с общего ведома государственной системе слежения? Помимо не афишируемых мрачных причин — например, страха перед возможными репрессивными мерами, имеется и положительное «подкрепление». Это вознаграждения и «особые привилегии» для граждан, которые проявят «благонадежность». В зависимости от рейтинга, это могут быть кредиты на онлайн-покупки в Alibaba, право ускоренной регистрации в Пекинском международном аэропорту или упрощенный порядок получения шенгенской визы.

Высокий рейтинг уже стал показателем статуса: почти 100 тысяч пользователей «вывешивают» свои показатели на Weibo (китайский аналог Twitter). И даже в личной жизни «рейтинг доверия» может сыграть свою роль: чем выше балл в Sesame Credit, тем более заметно представлен профиль пользователя в сервисе онлайн-знакомств Baihe. В Sesame Credit уже существуют рекомендации по повышению рейтинга, в том числе — предупреждения о рисках добавления «низкорейтинговых» друзей.

Black Mirror

Кадр из 1 серии 3 сезона сериала «Черное зеркало» (Black Mirror, Netflix)

Технологии против бумаги — та не способствовала открытости

Ботсман сопоставляет Sesame Credit с ранее созданной системой личных досье «дань-ан», в которой путь каждого гражданина расписан от школьной скамьи до работы. В ней фиксируются любые личные и политические проступки. Отрабатываемые сегодня схемы — «геймифицированная» вариация той же методики Компартии КНР с использованием технологий больших данных.

Бумажные досье не способствовали укреплению доверия и открытости в обществе — скорее наоборот. Люди стали доносить на своих друзей и даже членов семьи. То же может получиться и с цифровой системой. Будут возникать стимулы «заботиться» о своем рейтинге и стремиться исключить в своем окружении нежелательные публикации. Далее можно предположить появление репутационного черного рынка — нелегальных способов повышения рейтингов благонадежности. Подобно накручиванию «лайков» в Facebook и численности подписчиков в Twitter манипуляции с рейтингами за отдельную плату тоже могут пользоваться спросом.

В 2015 году BBC провела опрос в центре Пекина о рейтингах Sesame Credit. Большинство отзывалось положительно. Но кто станет публично критиковать систему? Ведь рейтинг может понизиться. При этом мало кто понимал, что низкий рейтинг может серьезно повредить им в будущем. А многие даже не отдавали себе отчет в том, что их оценивают.

Сейчас Sesame Credit не использует систему штрафов за неблагонадежность. Эффективнее вовлекать аудиторию через вознаграждения за хорошее. Когда в 2020 году система станет обязательной, санкции наверняка станут значительно более серьезными. Ограничение скорости интернет-соединения или права перемещения за рубежом, невозможность поступить на госслужбу или работать в журналистике и сфере права — Ботсман приводит несколько возможных вариантов. И цитирует один из государственных документов КНР, регулирующих этот вопрос: «С системой социальных рейтингов благонадежным везде будет путь открыт, а утратившим доверие будет сложно и шаг ступить».

Система рейтингов в Китае пока добровольная, но ее последствия уже вполне ощутимы. В феврале 2017 года Верховный народный суд сообщил, что за прошедшие четыре года более чем шести миллионам граждан были запрещены перелеты за общественные проступки. «Мы подписали меморандум с 44 государственными ведомствами, с тем чтобы предусмотреть на многих уровнях ограничения в отношении утративших доверие», — приводит издание цитату Мен Сиан, руководителя исполнительного департамента Верховного суда.

По-настоящему ужасно в такой системе то, что алгоритмы доверия несправедливо упрощают ситуацию, не учитывая ее контекст. Кто-то может не оплатить счет, попав в больницу, тогда как другой сделает это сознательно. Вопрос в том, смогут ли подобные алгоритмы учитывать частности, несоответствия и противоречия реальной жизни.

Не стоит забывать, что персональные рейтинговые системы используются уже не первое десятилетие. Более 70 лет назад американцы Билл Фэйр и Эрл Айзек создали модель оценки платежеспособности заемщиков в балльных показателях. Сегодня индикаторы FICO (Fair Isaac Corporation) используются для принятия решений, в том числе о процентных ставках по ипотеке и при одобрении кредитной заявки.

Лучше бы кредиты

У большинства китайцев никогда не было кредитных рейтингов, и потому они не могут получить кредит. «У многих нет в собственности домов, машин или кредитных карт, поэтому такую информацию невозможно количественно оценить, — поясняет популярный блогер Вэнь Цзюань, пишущий на темы финансов и технологий. — У центробанка имеются данные 800 млн человек, но только у 320 млн есть кредитная история в традиционном смысле». По оценкам министерства торговли Китая, ежегодные потери экономики страны ввиду отсутствия кредитной информации составляют более 600 млрд юаней.

Из-за отсутствия национальной кредитной системы власти убеждены, что уже давно нужно было бы ввести индивидуальные рейтинги граждан для исправления «дефицита доверия», как это принято называть. Власти также полагают, что подобная система позволит вовлечь тех, кто обойден традиционной кредитной системой, как то студентов и малообеспеченные семьи. Все это в целом будет повышать конкурентоспособность экономики.

 

China

Фото: Pxhere

Еще одну серьезную проблему на плохо регулируемом рынке составляет торговля контрафактной и некачественной продукцией. По данным Организации экономического сотрудничества и развития (ОЭСР), 63% от общего объема подделок во всех категориях (от часов до детского питания) производится в Китае. «Злоупотребления на микроуровне запредельные, поэтому если подобная схема создаст условия для более эффективного надзора и контроля, ее, скорее всего, будут только приветствовать», — цитирует Ботсман Рогира Кремерса, ученого из Института Ван Волленховена Лейденского университета.

В западном обществе идея SCS в Китае вызывает бурную реакцию. И при этом все мы оцениваем рестораны, фильмы, книги и даже врачей. Компании всех сфер и отраслей изучают большие данные, поступающие из подключенных устройств, чтобы таким образом определять наш образ жизни и предпочтения. И прогнозировать наши дальнейшие действия так, как мы и сами их не можем спрогнозировать.

По всему миру правительства уже активно осваивают мониторинг и рейтинги. В США это не только прерогатива Агентства национальной безопасности. В 2015 году Управление транспортной безопасности выступило с инициативой включить в практику проверок PreCheck информацию социальных сетей, данные о местонахождении и историю покупок пользователей. Идею отклонили под напором критики, но это еще не означает, что ее окончательно похоронили. Мы уже живем в мире, где прогнозные алгоритмы определяют нашу безопасность для общества. Мы приближаемся к китайской системе, в которой оценки кредитоспособности трансформируются в индивидуальные рейтинги, даже если этого пока никто не осознает.

Ботсман приводит мнение Лучано Флориди, профессора философии и этики Оксфордского университета. Флориди полагает, что слияние онлайн- и офлайн-, реального и виртуального опыта в единое целое, «онлайф», являет собой следующий принципиальный переход, меняющий систему самопознания. Четвертый — после гелиоцентрической модели Коперника, теории естественного отбора Дарвина и теории Фрейда о бессознательном. Общество превращается в инфосферу, и «онлайф»-личность не тождественна реальной личности. Это отчетливо демонстрирует Facebook, где пользователи создают некое отредактированное и идеализированное отображение себя.

Когда все следят за всеми

В марте 2016 года появилось приложение Peeple [People (люди) и Peep (подглядывать)], которое можно сравнить с сервисом пользовательских оценок заведений Yelp. Различие состоит в том, что в Peeple оценивают людей. В профиле отображается количественный показатель Peeple Number, который выводится на основе всех данных пользователю рекомендаций и отзывов. Из Peeple нельзя удалиться. Под запретом в системе только бранные и сексистские комментарии, и замечания, касающиеся здоровья. В остальном никаких правил оценивания и стандартов прозрачности не предусмотрено.

Можно ли предположить, что все идет к тому, что каждый из нас будет иметь электронные ярлыки и считываться потоками данных? Определенно, тенденция развивается в этом направлении. Если исключить некое массовое выступление за возвращение приватности, мы входим в эпоху, когда действия каждого будут оцениваться по стандартам, нам неподконтрольным, и без возможности отменить вынесенное суждение.

Black Mirror

Кадры из 1 серии 3 сезона сериала «Черное зеркало» (Black Mirror, Netflix)

И даже если уже поздно пытаться остановить наступающий новый век, у нас все же есть права и альтернативы. Важная опция, которую нельзя упускать из виду в наступающем новом веке, — возможность оценивать оценивающих. В своей книге The Inevitable Кевин Келли рисует мир будущего, в котором наблюдатели и наблюдаемые отслеживают друг друга. «Наш главный выбор состоит в том, будет ли такая система наблюдения представлять собой тайный односторонний паноптикум или же взаимный и прозрачный механизм, предусматривающий, помимо прочего, контроль за наблюдателями», — пишет он.

Остается только гадать, чем обернется культура постоянного мониторинга и личностных рейтингов. Вопросы о будущем касаются не только технологий или экономики, но и этики. Что будет, когда такие системы вступят в силу? Усугубит ли это и без того критически ограниченное право китайских граждан на свободу слова и приватность? Эти вопросы нам предстоит осмыслить. Если мы не будем бдительны, распределенное доверие может превратиться во всеобщее чувство вины. Жизнь превратится в бесконечное состязание в популярности, в котором каждый будет бороться за высший рейтинг, достичь которого смогут лишь единицы.

На обложке: кадр из 1 серии 3 сезона (Nosedive) сериала «Черное зеркало» (Black Mirror, Netflix)