Сломанный код. Внутри Facebook и борьба за раскрытие его вредных секретов - Джефф Хорвиц Страница 35

Взяв на себя роль штатных пессимистов, пришлось пойти на некоторые жертвы. Когда Civic начала переходить к защите выборов, у команды не осталось времени на работу по созданию демократических функций, для которой она была создана. Ресурсы были ограничены, а внимание руководителей - еще меньше. Что-то нужно было убрать.

Решение не было однозначным - изучение сетей подставных страниц превзошло возможность более конструктивного политического дискурса. Тем не менее, отказ от этой работы был болезненным. По просьбе Чакрабарти команда Харбата занялась функцией значков избирателей. Почти все остальное из первоначальной миссии было заброшено.

"Все, что Самидх смог сохранить, - это напоминания о выборах и регистрация избирателей", - говорит Харбат. "Вся активная работа ушла в унитаз, и я думаю, что это было очень тяжело для него".

Команду ждали еще одни большие перемены. В ходе реорганизации, проведенной в начале 2018 года, Civic была вытеснена из организации Кокса и переведена в зарождающееся подразделение компании Central Integrity, которым руководил Гай Розен. Это был большой сдвиг: если Кокс, казалось, был широко заинтересован в понимании роли платформы в общественной жизни, то Розен был более узко направлен на постановку целей и решение проблем. Он был целеустремленным, умным и, по мнению многих, странно подходил для этой работы.

Розен присоединился к Facebook, когда в 2013 году компания Onavo, расположенная в Тель-Авиве, приобрела за 100 миллионов долларов его компанию . Onavo шифровала действия пользователей смартфонов в целях обеспечения конфиденциальности и в процессе собирала обширную информацию об их местоположении, о том, какими приложениями они пользовались и как долго их использовали. Учитывая страх Цукерберга не заметить начинающих конкурентов до того, как они укоренятся, это была жизненно важная бизнес-аналитика.

Через несколько месяцев после покупки данные Onavo обнаружили взрывной рост сервиса обмена сообщениями WhatsApp. Хотя в Соединенных Штатах это приложение было незначительным, в Испании оно было установлено на 99 % телефонов на базе Android и активно развивалось в развивающихся странах. Facebook бросился на поиски и купил сервис за 19 миллиардов долларов - шокирующую для того времени цену, которую позже назвали выгодной сделкой.

Именно данные Onavo позволили определить, что функция "Истории" Snapchat представляет собой серьезную угрозу. Как только Facebook клонировал формат эфемерных постов в Instagram в виде Stories, данные Onavo показали, что угроза миновала, о чем в 2017 году сообщила газета Wall Street Journal. Репутация Розена в Facebook была упрочена.

Если информация об утилите Onavo стала достоянием общественности лишь спустя годы, на то были веские причины: Facebook не хотел, чтобы кто-то понял, что он делает. Помимо этических вопросов, связанных с приложением, собирающим данные о своих пользователях, шпионские привычки Onavo в лучшем случае нарушали условия обслуживания Google и Apple. Магазины приложений обеих компаний в итоге удалили приложение, а Федеральная торговая комиссия США упомянула Onavo в своей жалобе, обвинив ее в антиконкурентной деловой практике.

Эта затянувшаяся аура мошенничества сделала немного странным тот факт, что в конце 2017 года Розен был выбран на должность главы недавно созданного подразделения Integrity в Facebook. (Компания отметила, что до работы в Onavo он занимался вопросами безопасности в Oracle). Розен был известен своей работоспособностью и имел отличную репутацию у руководства компании, но подчинялся он Наоми Глейт и команде Growth, которая, как отметил Эндрю Босворт в своей ставшей вскоре печально известной записке "Уродливая правда", славилась своей этической гибкостью. Иными словами, вряд ли это можно назвать домом для группы, для которой этика и честность должны были быть превыше всего.

Потенциал конфликта был очевиден. Некоторые из рейтинговых исследований , которые уже провела команда Макнелли, указывали на то, что рост использования продукта может усугубить проблемы целостности. Некоторые работы по обеспечению целостности могут снизить темпы роста в будущем.

Однажды, когда Розену представили данные о том, как быстро россиянам удалось создать на платформе крупные аккаунты, его реакция не была вопросом о том, есть ли недостаток в дизайне платформы. "Они просто феноменальные маркетологи роста", - заметил он коллеге с оттенком уважения. (В компании заявили, что такой комментарий Розена был бы сарказмом.) Проблема, по мнению Розена, заключалась не в том, что некая организация набрала огромную аудиторию за счет ядовитого, спамерского контента. Именно так и должна была работать платформа. Проблема заключалась в том, что организация была русской.

Розен процветал на подобном категориальном разграничении. Вместо того чтобы начать с качественных вопросов, которыми занимались такие руководители, как Гомес-Урибе и Макнелли, - например, каковы подписи мусорных издателей? Как гиперактивные пользователи влияют на платформу?" - Розен начал с другого: Было ли что-то противоречащим существующим правилам Facebook и поддающимся количественному измерению? Если ответ на оба вопроса был положительным, то Розен, целеустремленный руководитель, руководил неустанной кампанией по созданию классификаторов, способных обнаружить нежелательную вещь и втоптать ее в грязь. Если же проблема не вписывалась в эту форму, Розен говорил, чтобы вы вернулись, когда это произойдет.

Преимущество такого подхода, основанного на классификаторах и метриках, заключалось в том, что он пришелся по душе инженерно-техническому руководству Facebook, которому нравилась идея создания системы, позволяющей избежать проблем с модерацией. Недостатком было то, что при всем прогрессе, которого достигло машинное обучение, автоматизированные системы контроля за соблюдением контента Facebook и близко не соответствовали стандартам, которые требовала эффективная модерация.

"У нас нет и, возможно, никогда не будет модели, которая бы отражала хотя бы большую часть вреда от честности, особенно в чувствительных областях", - писал один из инженеров, отмечая, что классификаторы компании могут определить только 2 % запрещенных высказываний, разжигающих ненависть, с достаточной точностью, чтобы удалить их.

Бездействие в отношении подавляющего большинства нарушений контента вызывает сожаление, сказал Розен, но не является причиной для изменения курса. Требования Facebook к удалению контента сродни стандарту вины вне разумных сомнений, применяемому в уголовных делах. Даже ограничение распространения поста должно требовать перевеса доказательств. Сочетание неточных систем и высокого бремени доказывания неизбежно означает, что Facebook, как правило, не обеспечивает соблюдение своих собственных правил борьбы с ненавистью, признал Розен, но это было сделано намеренно.

"Лично Марк ценит свободу слова превыше всего и считает это особенностью, а не ошибкой", - написал он.

Публично компания заявляла о своей нетерпимости к языку вражды. Однако на практике неспособность компании эффективно бороться с ней воспринималась как прискорбная, но вполне терпимая.

Если у сотрудников службы добросовестности, работавших под началом Розена, и были положительные стороны, то