Google имеет автоматизированную систему для обнаружения оскорбительных изображений детей. Но система может ошибаться, и последствия могут быть серьезными.
Марк заметил, что с его малышом что-то не так. Пенис его сына выглядел опухшим и причинял ему боль. Марк, отец-домосед из Сан-Франциско, взял свой смартфон Android и сделал фотографии, чтобы задокументировать проблему и проследить за ее развитием.
Это был вечер пятницы в феврале 2021 года. Его жена позвонила медсестре из их медицинского учреждения, чтобы назначить срочную консультацию на следующее утро по видеосвязи, потому что была суббота и шла пандемия. Медсестра сказала прислать фотографии, чтобы врач мог просмотреть их заранее.
Жена Марка взяла телефон мужа и отправила на свой iPhone несколько высококачественных снимков паховой области их сына крупным планом, чтобы загрузить их в систему сообщений медицинского учреждения. На одном из снимков была видна рука Марка, что помогло лучше рассмотреть припухлость. Марк и его жена не задумывались о технологических гигантах, которые сделали возможным быстрый обмен цифровыми данными и фото, и о том, что эти гиганты могут подумать об этих снимках.
С помощью снимков врач поставил диагноз и назначил антибиотики, которые быстро помогли справиться с проблемой. Но этот эпизод принёс Марку гораздо более серьезную проблему, которая будет стоить ему накопленных более чем за десять лет контактов, электронных писем и фотографий, и сделает его фигурантом полицейского расследования. Марк, который попросил называть его только по имени, опасаясь потенциального ущерба для репутации, попал в сеть алгоритма, предназначенного для отлова людей, обменивающихся материалами о сексуальном насилии над детьми.
Технологические компании регулярно собирают неимоверное количество данных о своих пользователях, и потому на них оказывают давление, чтобы они выступали в роли сторожей и контролировали всю проходящую через их серверы информацию для обнаружения и предотвращения преступных действий. Защитники детей говорят, что сотрудничество компаний необходимо для борьбы с безудержным распространением в Интернете изображений сексуального насилия. Но это может повлечь* за собой проникновение в частные архивы, такие как цифровые фотоальбомы - вторжение, которого пользователи и не ожидают, и которое выставило невинное на самом деле поведение в зловещем свете - по крайней мере, в двух случаях, о которых рассказала газета The Times.
Джон Каллас (Jon Callas), технолог из Electronic Frontier Foundation, организации по защите гражданских свобод, назвал эти случаи первыми ласточками в этой чёрной дыре.
“Таких случаев могут быть десятки, сотни, тысячи”, - сказал он.
Фото: Aaron Wojack for The New York Times
Учитывая токсичный характер обвинений, г-н Каллас предположил, что большинство людей, которых несправедливо отметили, не стали бы предавать случившееся огласке.
“Я знал, что эти компании следят за происходящим, и что конфиденциальность - это не то, на что мы надеемся**”, - сказал Марк. “Но я не сделал ничего плохого”.
Полиция согласилась. А Google - нет.
‘Серьезное нарушение’
После создания учетной записи Gmail в середине прошлого дестилетия Марк, которому уже за 40, стал в значительной степени полагаться на Google. Он синхронизировал встречи со своей женой в Google Calendar. Камера его смартфона на базе Android создавала резервные копии фотографий и видео в облаке Google. У него даже был телефонный тарифный план Google Fi.
Через два дня после того, как он сделал фотографии своего сына, телефон Марка издал звонкий звук уведомления: его аккаунт был отключен из-за “вредоносного контента”, который “является серьезным нарушением политики Google и может быть незаконным”. Ссылка “Узнать больше” вела к списку возможных причин, включая “сексуальное насилие и эксплуатацию детей”.
Марк сначала растерялся, но потом вспомнил о болезни своего сына. “О, Боже, Google, наверное, думает, что это было детское порно”, - подумал он.
Необычный поворот: Марк работал инженером-программистом в крупной технологической компании, которая занималась автоматическим удалением видеоконтента, отмеченного пользователями как проблемный***. Он знал, что в таких системах часто присутствует человек, который следит за тем, чтобы компьютер не совершил ошибку, и он предполагал, что его дело будет рассмотрено, как только оно попадет к этому человеку.
Марк, инженер-программист, который в настоящее время является отцом, сидящим дома, предполагал, что ему вернут его аккаунт, как только он объяснит, что произошло. Но это не случилось.
Он заполнил форму с просьбой пересмотреть решение Google, объяснив, что его сын заразился. В то же время он обнаружил эффект домино, вызванный отказом Google. Он не только потерял электронную почту, контактную информацию друзей и бывших коллег, а также документы о первых годах жизни сына, но и его аккаунт Google Fi закрылся, что означало, что ему пришлось получить новый номер телефона у другого оператора связи. Без доступа к старому номеру телефона и адресу электронной почты он не мог получить коды безопасности, необходимые для входа в другие интернет-аккаунты, что лишило его возможности пользоваться большей частью своей цифровой жизни.
“Чем больше яиц в одной корзине, тем больше вероятность того, что корзина разобьется”, - сказал он.
В декларации Google говорится: “Материалы о сексуальном насилии над детьми отвратительны, и мы стремимся предотвратить их распространение на наших платформах”.
Через несколько дней после того, как Марк подал апелляцию, компания Google ответила, что не будет восстанавливать аккаунт, без каких-либо дополнительных объяснений.
Также Марк не знал о том, что группа проверки Google также отметила одно из сделанных им видео, и полиция Сан-Франциско уже начала расследование в отношении него.
Как Google помечает изображения
На следующий день после того, как начались проблемы Марка, тот же сценарий разыгрался в Техасе. У малыша из Хьюстона была инфекция в “интиме”, написал его отец в сообщении в Интернете, на которое я наткнулся, рассказывая историю Марка. По просьбе врача-педиатра Кассио, который также попросил называть его только по имени, использовал смартфон с системой Android для съёмки фотографий, которые автоматически сохранялись в Google Photos. Затем он отправил их своей жене через службу чата Google.
Кассио находился в середине процесса покупки дома и подписания бесчисленного количества цифровых документов, когда его учетная запись Gmail была отключена. Он попросил своего ипотечного брокера сменить адрес электронной почты, что вполне законно вызвало у брокера подозрения, пока агент по недвижимости Кассио не поручился за него.
“Это была головная боль”, - говорит Кассио.
Изображения детей, подвергающихся эксплуатации или сексуальному насилию, отмечаются технологическими гигантами миллионы раз каждый год. В 2021 году только Google зарегистрировал более 600 000 сообщений о материалах, содержащих насилие над детьми, и в результате отключил аккаунты более 270 000 пользователей. Опыт Марка и Кассио был лишь каплей в море…
Первым инструментом технологической индустрии, способным серьезно нарушить обширный онлайн-обмен так называемой детской порнографией, стала PhotoDNA - база данных известных изображений насилия, преобразованная в уникальные цифровые коды, или хэши; с ее помощью можно было быстро прочесать большое количество изображений, чтобы обнаружить совпадение, даже если фотография была изменена незначительно. После того как Microsoft выпустила PhotoDNA в 2009 году, Facebook и другие технологические компании использовали ее для искоренения пользователей, распространяющих незаконные и вредные изображения.
“Это потрясающий инструмент”, - сказал тогда президент Национального центра помощи пропавшим и эксплуатируемым детям.
Более значительный прорыв произошел почти десять лет спустя, в 2018 году, когда компания Google разработала искусственный интеллект, способный распознавать никогда ранее не встречавшиеся изображения детей, подвергавшихся эксплуатации. Это означало, что можно найти не только известные изображения детей, подвергшихся насилию, но и изображения неизвестных жертв, которые потенциально могут быть спасены властями. Google предоставил свою технологию другим компаниям, включая Facebook.
Когда фотографии Марка и Кассио автоматически загружались с их телефонов на серверы Google, эта технология помечала их. Джон Каллас из E.F.F. назвал сканирование навязчивым, заявив, что семейный фотоальбом на чьем-то личном устройстве должен быть “частной сферой”. (Пресс-секретарь Google заявила, что компания сканирует фотографии только тогда, когда пользователь предпринимает “позитивное действие”, в том числе, когда телефон пользователя делает резервную копию фотографий в облако компании).
“Это именно тот кошмар, которого мы все боимся”, - сказал г-н Каллас. “Они собираются отсканировать мой семейный альбом, и тогда у меня будут проблемы”.
Человеческий модератор контента в Google должен был просмотреть фотографии после того, как они были отмечены искусственным интеллектом, чтобы убедиться, что они соответствуют федеральному определению материалов о сексуальном насилии над детьми. Когда Google обнаруживает подобное, он блокирует учетную запись пользователя, ищет другие материалы, содержащие эксплуатацию, и, как того требует федеральный закон, сообщает об этом в Кибертелефонную службу Национального центра помощи пропавшим и эксплуатируемым детям.
Эта некоммерческая организация стала центром сбора информации о материалах, связанных с насилием; в прошлом году она получила 29,3 миллиона сообщений, или около 80 000 сообщений в день. Фэллон Макналти, управляющая Киберлинией, говорит, что большинство из них - это ранее сообщенные изображения, которые остаются в постоянном обращении в Интернете. Поэтому ее штат из 40 аналитиков сосредоточен на потенциальных новых жертвах, чтобы они могли определить приоритетность этих дел для правоохранительных органов.
“Как правило, если сотрудники NCMEC рассматривают сообщение CyberTipline и в нем содержатся материалы эксплуатационного характера, которые не были замечены ранее, они переходят к более активным действиям”, - сказала г-жа Макналти. “Это может быть ребенок, который еще не идентифицирован или не защищен и не находится в опасности”.
Г-жа Макналти сказала, что поразительная способность Google обнаружить эти изображения, чтобы ее организация могла сообщить о них полиции для дальнейшего расследования, является “примером того, что система работает как надо”.
Сотрудники CyberTipline добавляют все новые оскорбительные изображения в хэшированную базу данных, которая передается технологическим компаниям для сканирования. Когда жена Марка узнала об этом, она удалила со своего iPhone фотографии, сделанные Марком для их сына, опасаясь, что Apple может отметить ее аккаунт. В прошлом году компания Apple объявила о планах по сканированию iCloud Photos на предмет известных сексуально-насильственных изображений детей, но развертывание этой программы было отложено на неопределенный срок после сопротивления групп по защите частной жизни.
В 2021 году CyberTipline сообщила, что она предупредила власти о “более 4260 новых потенциальных жертвах среди детей”. Среди них были и сыновья Марка и Кассио.
‘Состава преступления не было’
В декабре 2021 года Марк получил по почте конверт от Департамента полиции Сан-Франциско. В нем было письмо с информацией о том, что в отношении него начато расследование, а также копии ордеров на обыск Google и его интернет-провайдера. Следователь, контактная информация которого была предоставлена, запросил все данные из аккаунта Марка в Google: его поиск в Интернете, историю местоположения, сообщения и все документы, фотографии и видео, которые он хранил в компании. Связаться с Марком полицейский следователь не смог, потому что его номер телефона Google Fi больше не работал.
Поиск, связанный с “видеороликами об эксплуатации детей”, был произведен в феврале, в течение недели после того, как Марк сделал фотографии своего сына.
Марк сам позвонил следователю Николасу Хилларду, который сказал, что дело закрыто. Г-н Хиллард тоже пытался связаться с Марком, но его номер телефона и адрес электронной почты не работали.
“Я решил, что инцидент не отвечает признакам преступления и что преступления не было”, - написал г-н Хиллард в своем отчете. Полиция имела доступ ко всей информации Google о Марке и решила, что это не является жестоким обращением или эксплуатацией ребенка.
Марк спросил, может ли г-н Хиллард сообщить Google, что он невиновен, чтобы он мог вернуть свой аккаунт.
“Вы должны поговорить с Google”, - сказал мистер Хиллард, по словам Марка. “Я ничего не могу сделать”.
Марк снова обратился в Google, предоставив полицейский протокол, но безрезультатно. А два месяца назад он получил уведомление о том, что его аккаунт удаляется навсегда, Марк поговорил с адвокатом о том, как подать в суд на Google и сколько это может стоить.
“Я решил, что это не стоит 7 000 долларов”, - сказал он.
Кейт Клоник, профессор права в Университете Сент-Джонс, который писал о модерации онлайн-контента, говорит, что бывает сложно “учесть невидимые на фотографии вещи, например, поведение людей, которые делятся изображением, или намерения того, кто его сделал”. Ложные срабатывания, когда люди ошибочно отмечаются, неизбежны, учитывая миллиарды сканируемых изображений. Хотя большинство людей, вероятно, сочли бы этот компромисс оправданным, учитывая пользу от выявления детей, подвергшихся насилию, г-жа Клоник сказала, что компаниям необходим “надежный процесс” для реабилитации людей, которые были ошибочно отмечены.
“Это было бы проблематично, если бы речь шла только о модерации контента и цензуре”, - сказала г-жа Клоник. “Но это вдвойне опасно, поскольку приводит к тому, что о ком-то сообщают в правоохранительные органы”.
По ее словам, могло быть и хуже: родитель может потерять право опеки над ребенком. “Вы можете себе представить, как это может разрастись”, - сказала г-жа Клоник.
Кассио также находился под следствием в полиции. Осенью 2021 года ему позвонил детектив из полицейского управления Хьюстона и попросил его прийти в участок.
После того как Кассио показал детективу свои записи с педиатром, его быстро проверили. Но он также не смог вернуть свой десятилетний аккаунт Google, несмотря на то, что является платным пользователем веб-услуг Google. Теперь для электронной почты он использует адрес Hotmail, за что его высмеивают****, и делает многочисленные резервные копии своих данных.
Вы не обязательно поймёте, что это такое, когда увидите
Не все фотографии обнаженных детей являются порнографическими, эксплуататорскими или оскорбительными. Карисса Бирн Хессик, профессор права из Университета Северной Каролины, которая пишет о преступлениях, связанных с детской порнографией, говорит, что юридическое определение того, что является сексуально оскорбительными изображениями, может быть сложным.
Но г-жа Хессик сказала, что она согласна с полицией в том, что медицинские изображения не подпадают под это определение. “Здесь нет насилия над ребенком”, - сказала она. “Они сделаны по несексуальным причинам”.
В машинном обучении компьютерная программа тренируется, получая “правильную” и “неправильную” информацию, пока не сможет различать одно от другого. Чтобы не отмечать фотографии младенцев в ванной или детей, бегущих без одежды через разбрызгиватели, искусственный интеллект Google для распознавания насилия был обучен как на изображениях потенциально незаконных материалов, найденных Google в аккаунтах пользователей в прошлом, так и на изображениях, не свидетельствующих о насилии, чтобы дать ему более точное понимание того, что отмечать.
Я видела фотографии, которые Марк сделал со своим сыном. Решение отметить их было понятным: Это откровенные фотографии гениталий ребенка. Но важен контекст: они были сделаны родителем, переживающим за больного ребенка.
“Мы признаем, что в век телемедицины и особенно Covid родителям приходится делать фотографии своих детей, чтобы получить диагноз”, - сказала Клэр Лилли, руководитель отдела безопасности детей Google. По ее словам, компания консультируется с педиатрами, чтобы ее специалисты понимали возможные заболевания, которые могут проявиться на фотографиях, сделанных по медицинским показаниям.
Доктор Сюзанна Хейни, председатель Совета по жестокому обращению с детьми и безнадзорности при Американской академии педиатрии, посоветовала родителям не фотографировать гениталии своих детей, даже по указанию врача.*****
“Последнее, чего вы хотите, это чтобы ребенок чувствовал себя комфортно, когда кто-то фотографирует его гениталии”, - сказала д-р Хейни. “Если это абсолютно необходимо, не загружайте снимки в облако и немедленно удаляйте их”.
По ее словам, большинство врачей, вероятно, не знали о рисках, связанных с просьбой родителей делать такие фотографии.
“Я аплодирую Google за то, что они делают”, - сказала д-р Хейни об усилиях компании по борьбе со злоупотреблениями. “У нас действительно есть ужасная проблема. К сожалению, она связана с родителями, которые пытаются сделать все правильно для своих детей”.
В начале этого года представитель службы поддержки сказал Кассио, что отправка фотографий его жене с помощью Google Hangouts нарушает условия обслуживания в чате. “Не используйте Hangouts каким-либо образом, эксплуатирующим детей”, - гласят условия. “Google придерживается политики нетерпимости к такому контенту”.
Что касается Марка, г-жа Лилли из Google заявила, что эксперты не обнаружили сыпи или покраснений на фотографиях, которые он сделал, и что при последующей проверке его аккаунта было обнаружено видео, снятое шестью месяцами ранее, которое Google также посчитал проблематичным: маленький ребенок лежит в постели с раздетой женщиной.
Марк не помнит этого видео и больше не имеет к нему доступа, но он сказал, что это похоже на частный момент, который он вдохновенно запечатлел бы, не подозревая, что его когда-нибудь посмотрит или оценит кто-то другой.
“Я могу себе это представить. Мы проснулись однажды утром. Был прекрасный день с моей женой и сыном, и я хотел запечатлеть этот момент”, - сказал Марк. “Если бы мы спали в пижамах, всего этого можно было бы избежать”.
Представительница Google заявила, что компания поддерживает свои решения, даже несмотря на то, что правоохранительные органы оправдали этих двух мужчин.
Виновен по умолчанию
Г-жа Хессик, профессор права, сказала, что сотрудничество технологических компаний с правоохранительными органами в борьбе и искоренении сексуального насилия над детьми “невероятно важно”, но, по ее мнению, оно должно допускать возможность исправления ошибок.
“С точки зрения Google, проще просто отказать этим людям в использовании своих услуг, - предположила она. В противном случае компании пришлось бы решать более сложные вопросы о том, “как правильно вести себя с детьми и что уместно фотографировать или нет”******.
У Марка все еще есть надежда, что он сможет вернуть свою информацию. Полиция Сан-Франциско сохранила содержимое его аккаунта Google на флешке. Сейчас Марк пытается получить копию. Представитель полиции сказал, что департамент стремится помочь ему.
Оригинал статьи на английском: https://www.nytimes.com/2022/08/21/technology/google-surveillance-toddler-photo.html
Перевод: Wandering Thinker
Очень рекомендую почитать также обсуждение этой статьи на Reddit (на английском, но этичный переводчик DeepL вам в помощь. Или вы всё ещё хотите пользоваться сервисами Google?!) Также буду рад услышать ваше мнение в комментариях здесь или в Fediverse.
Примечания переводчика:
* и обязательно влечёт, поскольку сканируется и анализируется искусственным интелектом вся информация, в том числе и личная переписка. Это относится не только к Google, но и к Facebook, WhatsApp, Instagram, Amazon, Apple, Яндекс, ВКонтакте и т.д.
** думаю, что человек так обтекаемо выразился, опасаясь возможного судебного преследования за более точную формулировку. Данный случай отлично показывает, что конфиденциальность в Google - это полная фикция.
*** “Наш девиз - слабоумие и отвага”?! Ни в коей мере не хочу обидеть героя повествования, и так нахлебавшегося по полной программе от этого цифрового беспредела… но как иначе объяснить, что грамотный человек, знающий изнутри про слежку и цензуру, продолжал полагаться на конфиденциальность Google?!
**** То есть, за то, что он не пользуется сервисами Google после всего случившегося? Мир полон идиотов… :(
***** А почему бы сей уважаемой госпоже не выступить с инициативой запрета на право сканирования личных материалов кем бы то ни было? Но она, признавая серьёзность проблемы, аплодирует Google. Логика за гранью моего понимания. Как говорится, или трусы, или крестик…
****** А с какого перепугу Google (и вообще кто-либо) вообще имеет право лезть в личные данные, которые не являются публичными априори?
Comments
No comments yet. Be the first to react!