Как цифровая реальность влияет на права и свободы людей и почему нужно меняться, чтобы справиться с новыми технологическими вызовами?
Специалист по анализу данных Артур Хачуян — технооптимист. Он верит, что искусственный интеллект сделает людей более свободными, но не заменит их, пока люди способны думать и создавать. По его мнению, уже сейчас технологии могли бы решать социальные проблемы — например, определять, кому нужны дотации.
Эксперт в области цифровой трансформации, технологических трендов и информационной безопасности Руслан Юсуфов уверен, что цифровая реальность усилит неравенство в обществе и в будущем окажутся востребованными те люди, которые постоянно учатся.
«Такие дела» публикуют видео и текстовую расшифровку нового выпуска «Больше всех надо». Подписаться на youtube-канал шоу можно здесь.
Саша Ливергант: Год карантина и пандемии сделал так, что даже самые «отсталые» слои населения оказались в цифровой среде. Мы все столкнулись с тем, что должны пользоваться новыми инструментами, например цифровыми пропусками. То, как работает система распознавания лиц, как людей вызывают на допрос после митингов, увидев их на камерах слежения в городе, — все это тоже вызывает вопросы.
Паша Меркулов: Все стремительно меняется, и в голове рисуется несколько сценариев. Один сценарий, где мы все живем под гнетом корпораций и государства, за нами следят, из дома выйти очень страшно и дроны в тебя пуляют транквилизаторами, если что. Второй — из ролика Сбербанка, такой технооптимистичный: я иду по улице, получаю на карточку свой безусловный доход, дрон приносит мне кофе.
Понятно, что правда, скорее всего, где-то посередине. Но «Цифровой концлагерь» уже есть?
Артур Хачуян: Это вы сейчас про великий китайский «цифровой концлагерь»? Объем этого ужаса преувеличен массмедиа, я думаю, в десятки раз.
Если про Россию, в чем-то он есть. Например, наши банки намного развитее в анализе данных своих клиентов, нежели европейские или американские. Еще семь лет назад банки додумались мониторить социальные сети. Сейчас от этого отказываются, потому что это не совсем достоверные данные. Но тем не менее у нас в стране огромное количество информационных систем, о которых можно сказать, что это «информационный концлагерь».
Я все-таки отношусь к технооптимистам. Я верю в прекрасное светлое будущее, где технологии машинного обучения и искусственного интеллекта дадут нам не только свободу воли, но и свободу дополнительного времени. Но при этом я с осторожностью отношусь к различного рода государственным реестрам. Они есть, их много, они не так хорошо работают, но все идет к тому, что рано или поздно данные из них объединят.
Какова история развития китайского социального рейтинга? Умные ребятки решили объединить несколько баз данных и посчитать: человек, у которого не выплачены алименты и много штрафов, — он антисоциальный человек. Его, например, не выпускают за рубеж или дают [ему] большую ставку по ипотеке. Разве это плохо?
История китайского социального рейтинга началась с того, что несколько международных журналистов сделали расследование о том, что якобы этот алгоритм анализирует, насколько ты хорошо или плохо сказал о президенте, с кем ты общаешься.
Официального подтверждения использования этих метрик нет. Но мы с вами прекрасно знаем, что, если государство захочет их использовать, оно будет их использовать.
По факту эти данные сейчас используются для изменения городской среды. Проблема в том, что мы с вами не отделяем управленческие решения, которые принимает алгоритм, от решений, которые принимает государство.
Если государство завтра захочет лишить всех несовершеннолетних митингующих права на получение бесплатного высшего образования, оно их лишит. Это будет нарушением прав человека, но оно это сделает. И уже не важно, как оно проанализирует эти данные: будет ручками переписывать или с помощью дронов.
Артур Хачуян
СЛ: Это репрессивная система?
Руслан Юсуфов: Любая технология нейтральна. В каких-то руках она может использоваться во благо, в каких-то руках — во зло.
Безусловно, [технологии] могут кардинально поменять то, как мы живем и взаимодействуем. Возможность иметь интернет у себя в кармане каждый день — это плохо или хорошо? Это великолепно, потому что вы можете заказать такси, заказать еду. Наверное, это плохо, потому что у вас каждую секунду в кармане маячок — и вы на это согласились.
ПМ: Людей пугает, что эти технологии крайне эффективные. [Если они] в руках тех людей, которым мы не доверяем, это кажется страшным. Например, что может московская система видеонаблюдения? Много пугалок, что мне не надо светить лицом на каком-то мероприятии, которые кто-то не согласовал: меня в любом случае до подъезда «дотрекают» и поймут, кто я такой.
Руслан Юсуфов
АХ: Я вам приведу такой пример. Знаете, как работает «Шазам»? Вы подносите микрофон, записывайте образец музыки, потом этот образец находится в гигантской базе данных. Корпорация очень долго судилась с американской ассоциацией звукозаписи, доказывая, что те образцы, которые хранятся в базе данных, не являются исходной музыкой и на нее нельзя наложить права о копирайте.
Здесь работает примерно то же самое. Камеры могут выделять лицо. Вся информация, которая у них хранится, — что на такой-то камере такое-то лицо было в такой-то момент. Фраза «нас дотрекают до дома» правильная, но [эта система] не знает, кто вы. Она только знает, что вот это лицо было на Тверской, потом — на Пушкинской, а сейчас приехало в Люберцы.
Когда МВД сделает запрос: «Найдите-ка мне вот этого человека», тогда они могут этот поиск провести. Они возьмут лицо этого человека, преобразуют его и найдут среди преобразованных лиц в своей базе данных.
Я сторонник того, что, если вы хотите спрятаться от распознавания лиц, не берите с собой телефон. До сих пор более 90 процентов идентификации ведется по данным мобильных операторов.
СЛ: Что в принципе о нас знает государство?
РЮ: Вопросы, которые вы задаете, я пытаюсь поместить в контекст. У государства есть определенная роль — организовать безопасность. Есть преступники, есть определенные силовые структуры, они должны этих преступников ловить. Возможность «дотрекать» и схватить преступника, который, например, разбил окно в машине или украл у кого-то сумочку, — наверное, хорошо, потому что это обеспечит безопасность общества.
Но есть вопрос: не будет ли злоупотребления? О нас есть очень много информации, об этом знает государство, фейсбук, гугл и еще миллион разработчиков, которые [создали] какое-то приложение, и за счет хайпа [пользователи] «сдали» туда свои телефонные книжки. Мне кажется, это гораздо важнее и потенциально гораздо проблематичнее, чем то, что у государства [утекут данные]. Скорее всего, они [утекут] у какой-нибудь команды из трех разработчиков, которые не предпринимают должных мер [предосторожности].
Эти вопросы [существуют] в огромном поле проблем, связанных с информацией. Если посмотреть на списки наиболее употребимых в 2020 году паролей, они вообще не поменялись за последние десять лет. Я уверен, что каждому звонили из поддельной службы безопасности Сбербанка и пытались украсть деньги. Это значит, что мы как общество и как отдельные физические лица до сих пор не поняли, что это нас касается. На самом деле это про спасение утопающих.
Мы все были вброшены в этот цифровой мир, и нам не дали инструментов для того, чтобы спасаться. Нужно самого себя научить базовым правилам.
АХ: Я не очень люблю разговоры про применимость распознавания лиц, потому что государства никогда от нее не откажутся. Я думаю, что нам, скорее, нужно двинуться в сторону общественного контроля.
Саша Ливергант, Артур Хачуян, Паша Меркулов и Руслан Юсуфов
СЛ: Ты говоришь, что общество не меняется и пароли как были, так и есть: 123. Но для того чтобы у общества был запрос, оно должно быть информировано, а оно не информировано.
РЮ: Это меняется. Есть целые государственные программы. Австралия, Великобритания, США — очень передовые в смысле просвещения молодежи. [В России] много лет говорят о том, что должен появиться урок ОБЖ по кибербезопасности, но он все никак не появляется.
Если нет запроса на это, то не будет ни общественного контроля и просвещения. Это замкнутый круг: проблема есть, а те, кто могут это поменять, на этом либо не заработают денег, либо не получат политические очки, потому что людям это не нужно.
АХ: Есть еще проблема государственного пиара. Если сейчас будет государственный образовательный TikТок, никто не будет им пользоваться.
СЛ: А люди вроде вас — вы круто в этом разбираетесь, круто про это рассказываете, — почему вы не занимаетесь [просвещением]?
АХ: Потому, что наша с Русланом суммарная аудитория, наверное, в 50 тысяч раз меньше, чем у девушки, которая недавно облила себя зеленкой. В интернете есть все.
Меня как разработчика алгоритмов персонализации креатива постоянно упрекают в том, что я кормлю людей говном. Уже давно никто не находит нового музыкального исполнителя. Мы сначала анализируем потребность, выделяем определенный сегмент, а потом исполнители создают [музыку] под эти запросы. Поэтому вся наша поп-музыка выглядит так, как она выглядит.
У нас есть социальные сети, которым мы платим персональными данными за то, что получаем бесплатные продукты.
У нас есть государство, которое кучу всего о нас обрабатывает. Да, там есть люди, которые за 50 тысяч рублей могут тебе выгрузить эту информацию. И у нас есть хакеры — самые страшные злоумышленники, которые могут взломать наш компьютер и что-то украсть. Какой процент людей могут атаковать хакеры?
Саша Ливергант, Артур Хачуян и Паша Меркулов
РЮ: Есть целевые атаки, когда хотят взломать [конкретного человека]. Скорее всего, его взломают, какие бы меры он ни предпринимал. Снимут со стекла звук [лазерным устройством], а скорее всего, украдут компьютер или девушка познакомится с ним в баре [и узнает данные]. Это микропроцент. Здесь все зависит от профессионализма и бюджета на той стороне.
При этом есть то, с чем сталкивается каждый, — «массовый чес». Вам звонят злодеи, которые представляются службой безопасности Сбербанка, или вы получаете сэсэмэску через две минуты после того, как на «Авито» разместили свой шкаф. Там злоумышленники просто хотят заработать денег. Им нужно вести вас по воронке продаж и максимально конвертировать вас в деньги. Они будут пользоваться теми сценариями, которые работают. Им все равно, кого они взламывают. Им главное, чтобы в конце дня была какая-то сумма.
Возвращаясь к вопросу низкой цифровой грамотности. Когда с той стороны есть миллионы людей, которые хотят залезть к вам в карман, а мы с вами задаем вопрос, будет ли нас распознавать государство, мы пытаемся забетонировать стену, при этом у нас все двери и окна открыты. У нас нет двухфакторной аутентификации в инстаграме и пароль стоит один и тот же от всего.
ПМ: Какая здоровая стратегия между параноиком и человеком, который ставит на все пароль 123qwe?
РЮ: Наверное, как общество мы все еще очень далеки от паранойи. До здорового поведения и здорового отношения еще есть несколько шагов.
Когда эксперты в области безопасности думают, как защитить корпорацию, они начинают с модели угроз злоумышленника. От кого мы защищаемся? От внешних злодеев? Что они будут делать? Красть наши голые фотографии? А зачем они будут это делать? Чтобы шантажировать нашего генерального директора? А где хранятся наши голые фотографии? Вот на этих серверах. А достаточно ли у нас уровней защиты? А какими техническими средствами обладают злодеи? А это будут северокорейские хакеры или сотрудники из соседней компании? А вдруг у нас поселится инсайдер и будет торговать этими данными направо и налево?
После того как мы этот набор сценариев описали, мы понимаем, что есть злоумышленники, они выглядят вот так, у них такая-то мотивация и действовать они будут вот так, защищаться мы должны таким образом. Поэтому, мне кажется, не может быть идеальной защиты для среднестатистического человека.
Если у тебя есть голые фотографии в телефоне и для тебя риск их утечки что-то за собой влечет, ты должен обеспечивать их безопасность. Если они у тебя уже лежат в твиттере, значит, это не проблема.
Для каждого человека мы можем разложить: есть кошелек, банковский счет, кредитная карта.
Недавно был замечательный доклад генерального прокурора в Совете Федерации. Количество преступлений, совершенных с помощью информационно-коммуникационных технологий, [на 70 процентов] больше, чем пять лет назад.
Данные утекают каждый день и отовсюду. Считайте, что, если вы отдали кому-то данные, они доступны всем.
Паша Меркулов и Руслан Юсуфов
АХ: Не забывайте, что, если алгоритмы позволяют государству следить за нами, это работает и в обратную сторону. За последние 15 лет нам стало за ними проще следить.
ПМ: Считается, что Россия — одно из самых открытых государств с точки зрения обработки, хранения и предоставления данных.
АХ: Есть государственные и окологосударственные сервисы. Это двусторонняя история.
СЛ: Вы знаете страну, где оптимальная система информирования?
АХ: Это пиар-война общества против государства и государства против общества. Если я к среднестатистическому человеку из аудитории, который переживает за свои персональные данные, подойду и спрошу, в какую страну он хочет уехать, — «Хочу в Америку, там свобода слова». Ты начинаешь объяснять, что в Америке она действительно есть, но она очень условная. Потому что в обществе ты не можешь, например, сказать, что феминистки не нужны. У ЦРУ есть гораздо больше прав по доступу к нашим персональным данным. По нажатию двух кнопочек можно посмотреть переписки и счета, тогда как в России нужно разрешение суда.
ПМ: Это уже вопрос доверия к институтам.
РЮ: [Мы говорим про] права человека, гражданские свободы и что фейсбук запустил свои грязные руки в наши телефоны. Но в наших телефонах стоит приложение, и, когда мы его ставили, мы согласились с 50-страничным документом о том, как эти данные будут использоваться и для чего.
Руслан Юсуфов
АХ: В большинстве случаев винят корпорацию, которая нам бесплатно предоставила сервис.
СЛ: Корпорация берет мои данные, начинает использовать их, подсовывать мне то, что я, скорее всего, куплю, и манипулировать мной. А я не хочу, чтобы мной манипулировали.
АХ: На мой взгляд, манипулирование восприятием намного опаснее, чем рядовые утечки данных. Мы знаем про информационный пузырь внутри социальных сетей. Мы получаем тот контент, который нам интересен, поэтому у современного поколения отсутствует критическое мышление. Когда мы хотим получить ответ на какой-то вопрос, мы не знаем, какой процент результатов нам показывает поисковик.
СЛ: С этим можно что-то делать?
АХ: Этим должен заниматься компетентный государственный надзорный орган. Их не существует. Роскомнадзор, к сожалению, свои функции выполнять не может. И это не их проблема. Это проблема пиара. Никто не хочет туда идти работать. Чтобы эту проблему изменить, нужно туда пойти, отпахать там 30 лет, а мы все знаем, что произойдет с человеком после 30 лет на госслужбе.
СЛ: Если говорить про общественный контроль, как это может выглядеть?
АХ: Если государство запрашивает доступ к каким-то персональным данным, оно должно [это] обосновать. Например, есть доказательства, что вы написали своему другу в личных сообщениях, где вы спрятали труп. Вскрыв вашу личную переписку, можно получить раскрытие дела. Эта информация в обезличенном виде должна выкладываться в базу данных. Это очень утопичный контекст.
Я как гражданин люблю наблюдать за своими данными и не ленюсь писать бумажки о том, что отзываю свое согласие на обработку персональных данных.
ПМ: Ее вживую нужно писать?
АХ: В этом и прикол, что галочку ты можешь поставить электронно, а отозвать галочку нужно уже в письменном виде.
РЮ: Это один из примеров того, что механизм вроде бы создан, но он не работает. Без проставления галочки ты не воспользуешься сервисом. Защищает ли это людей? Абсолютно не защищает.
Наверное, должны появиться этические комитеты.
АХ: Одно из самых популярных обращений в Роскомнадзор на текущий момент — это когда ЖЭК вывешивает список должников на подъезд. Это незаконно.
СЛ: Это настоящий позорный столб.
ПМ: Эти системы очень быстро работают. Если мы автоматизировали дороги, штрафы приходят очень быстро. Откатить их обратно у меня нет инструмента. Проконтролировать логику, по которой этот штраф мне назначен, я на самом деле почти никак не могу.
РЮ: В суд можешь пойти.
ПМ: Вопрос про этику мне кажется очень важным, потому что мы пытаемся цифровизировать весь мир вокруг, но мы, люди, не поддаемся этому на 100 процентов.
АХ: Все инженеры считают, что гуманитарные науки, особенно философия, — фуфло. И люди, которые сейчас отвечают за строительство новых шаблонов общества, — инженеры. Потому что инженер строит алгоритмы, а алгоритмы управляют людьми.
РЮ: Возникает, например, цифровая валюта центрального банка. Если деньги цифровые, у них появляются новые свойства. Если деньги выданы в рамках какой-то дотации, то потратить ты их можешь только на макароны какой-то марки. Как талоны. Возникает вопрос, а этично ли это — к кому-то приходить говорить, как тратить мои деньги.
АХ: Есть живой кейс. В Москве с 2019 года приходят за социальной дотацией, большой процент этих людей не бедные. У государства есть задача — посчитать, кто бедный, а кто не бедный. Эту модель достаточно легко построить просто на основании данных расходов, социальных сетей, кто куда путешествует. Это хороший пример социального рейтинга? На мой взгляд, это хороший кейс, когда мы видим, что человек надел драное пальто и пришел получать дотацию, а у него дома стоит кофемашина Bork за 200 тысяч рублей.
ООН пять лет назад говорила, что искусственный интеллект должен использоваться для решения проблем бедности. Это разделено на две части: сначала нужно их выделить, потом — понять, кому сколько денег дать.
СЛ: Вся эта история с тем, чтобы мне выдавали цифровые деньги на макароны определенной марки и за меня решили, что мне нужен не плейстейшен, а стиральный порошок, чтобы обстирывать семью, — ведет к ужасной инфантилизации общества. Мне вообще не нужно будет ничего самой решать. Как тогда я сформирую запрос на цифровую безопасность?
РЮ: Об этом расслоении написал Харари: что появится новый вид человека — homo deus, — который впитает в себя все возможности технологий, за счет биотехнологий будет думать быстрее, за счет доступа к информации будет принимать решение лучше, за счет биохакинга будет жить дольше. А все остальные будут обычными плебеями, и разрыв между ними станет непреодолим.
ПМ: Для того чтобы попасть в число этих прекрасных богоподобных людей с проводом в затылке, требуются большое напряжение интеллекта и изначальные ресурсы. Мы находимся в ситуации изначального неравенства.
РЮ: Как и всегда находились.
ПМ: В будущее возьмут не всех.
АХ: Если завтра общество, алгоритм, не важно кто предложит выбор: пахать 20 лет и стать сверхчеловеком либо не делать ничего и получать базовый доход, выберут [второй] вариант. Зачем что-то делать, если можно не делать?
Я как специалист по машинному обучению знаю, что искусственного интеллекта пока еще не существует. Все алгоритмы — это попытка повторить машиной нашу когнитивную деятельность. Когда спрашивают, заменит ли нас искусственный интеллект, — то да, людей, которые делают автоматизированный ручной труд, действительно заменят. Но если мы с вами будем поддерживать нашу нейронку в тонусе, нас никогда не заменят и мы никогда не окажемся людьми второго сорта. Но это сложно.
Артур Хачуян
РЮ: Мне очень понравился тезис про lifelong learning, что надо постоянно себя обучать и пересобирать. Наверное, пытливость ума и любознательность — это ключевые качества, благодаря которым, может быть, возьмут в будущее. Без него точно не возьмут.
Мне кажется, сейчас, на этом витке промышленной революции, как раз есть возможность стать кем угодно, сделать что угодно, найти себя в предпринимательстве, в совершенно новой профессии или возглавить какое-нибудь направление, которого сейчас нет.
Если наши зрители попробуют увидеть тот набор навыков, который нужен для того, чтобы оказаться в мире будущего, то вы очень быстро сможете набрать эти навыки. Сейчас такое количество курсов! Повезет тем, кто сможет угадать это будущее.
Если в новой ситуации ты можешь встать, отряхнуться и найти себя в этой реальности, потому что у тебя есть этот набор навыков, ты в это будущее и сможешь попасть. Я бы призывал постоянно учиться и, может быть, даже не фокусироваться на какой-то одной специализации.
СЛ: Двигаем мозгами и отправляемся в будущее. До встречи на следующей неделе!
Еще больше важных новостей и хороших текстов от нас и наших коллег — в телеграм-канале «Таких дел». Подписывайтесь!