03:03 25.03.2017
«Диалоги» угостят бесплатным Шнуровым и Хаматовой
Петербуржцев приглашают на суд над Отцом Сергием
Человек станет собой — в «Невесомости»
На дне рождения «Ленинград-центра» соберутся звезды
Вторую часть парфеновского цикла "Русские евреи" покажут в кино
В «Час Земли» погаснет свет - под джаз и лазерное шоу
Полиция Лондона освободила шестерых задержанных по подозрениям в подготовке теракта
Кудрин: Рынки нервно отреагируют на отзыв Трампа закона об отмене Obamacare
Трамп отозвал законопроект о реформе здравоохранения
В Гатчине ФСБ задержала начальника отдела по борьбе с наркотиками полиции Балтийского вокзала
Пономарев: Вороненкова похоронят завтра в Киеве
Комитет имущественных отношений Петербурга запустил новый портал
Пожар на пороховом заводе в Казани ликвидирован
В тубдиспансерах Петербурга не хватает лекарств
Сбербанк ожидает разблокирования офисов на Украине
По делу детских суицидов обыскали офис жевательного гиганта Wrigley в Петербурге
При пожаре на пороховом заводе в Казани погиб человек
Фундаменты недостроя на улице Васи Алексеева передали под спорткомплекс
«Золотое перо-2016»: Вышенков обошел Ди Каприо
Газзаев о сборной РФ: Проиграли команде, которая собралась в аэропорту Краснодара
Данила Козловский стал послом ЧМ-2018
Авиация ЗВО готовится отбомбиться по льду
В Казани горит пороховой завод
Завершился снос кондитерской фабрики Крупской на Социалистической
Сборная России по футболу проиграла Кот-д`Ивуару
Ребенок получил травмы в столкновении двух машин в Ломоносове
Коллектив авторов «Фонтанки.ру» получил «Золотое перо» в номинации «Экономический фундамент»
Власти Гатчинского района отказали в проведении митинга против премьера Медведева
В США отменили слушание конгресса о возможном вмешательстве РФ в выборы
ВВС Финляндии создали новое спецподразделение
Пожар на военных складах в Балаклее полностью потушен
В Нью-Йорке два поезда сошли с рельсов
«Фонтанка» за 60 секунд — 24 марта
В Нацгвардии назвали причину увольнения убийцы Вороненкова из войск
Власти 24 городов согласовали площадки для митингов Навального
Челябинск отгрузил больше тысячи тонн металлоконструкций для «Лахта центра»
Тренер «Ростова» рассказал о нестабильной финансовой обстановке в клубе
Навального повторно предупредили о незаконности акции на Тверской
ЦБ пресек «молдавскую схему» вывода денег еще в 2014 году
С Никольского собора упал кусок лепнины
Хочешь жить - не нарушай: как ГИБДД воспитывает детей
Зюганов: Расследование Навального сделали "три института ЦРУ с применением космической техники"
Набережную у строящегося отеля за "Петровским" приведут в порядок
Вышенков: Дело о резиденции Путина — украли в доме императора
Песков подтвердил встречу Путина и Вучича
ИГИЛ взяло ответственность за нападение на Росгвардию в Чечне
Налогоплательщики Петербурга стали меньше продавать, но больше платить зарплат
«Взломщик» «Подорожника» заявил, что не извлекал ключи с карты
Каждый десятый житель Мурино, Кудрово, Парнаса хочет оттуда уехать
Набережную Мойки у Конюшенного ведомства начнут ремонтировать в 2017-м
Власти Москвы выбрали первые серии пятиэтажек под снос
Трудоустраивать сложных подростков в Петербурге будет московский поставщик белья
Итоги недели: Убийство Вороненкова, Евровидение и теракт в Лондоне
Убийство Вороненкова попало на видео
Рабочих стройплощадки в Приморском районе эвакуировали из-за найденного артснаряда
Ходорковский: Путин обдумывает отставку до 2024 года
В Пулково подешевеет парковка
В Рощино рекомендуют провести вакцинацию от гепатита и брюшного тифа
На Шкиперском протоке видели двух путешественников на льдине
Театральный критик Яна Постовалова погибла в Петербурге
Вместо мифического генконсула Финляндии в Петербург пришлют нового
Активистку, пикетировавшую колонию Ильдара Дадина, оштрафовали на 10 тысяч
Филармония открывает продажу абонементов в Малый зал
В Петербурге продолжится сокращение коек в больницах
Набиуллина: ЦБ будет продолжать снижать ключевую ставку
В честь Дня театра билеты будут продавать дешевле
Песков сообщил о поддержке президентом стратегии Банка России
Песков назвал провокацией план Навального устроить шествие в центре Москвы
В 2017 году сдадут 2 новых участка трассы М-11
Фийон опроверг организацию встречи Путина с бизнесменом из Ливана
Общество

Матрице известно все. Даже то, что Трамп - холостяк

Студенты и сотрудники Университета ИТМО создали алгоритм, определяющий семейное положение пользователей c точностью до 86%. Как еще умеют использовать Big Data в России - изучала «Фонтанка».
Матрице известно все. Даже то, что Трамп - холостяк
фото с сайта twitter.com

Ни один шаг в соцcетях не ускользает от тех, кто умеет управлять большими данными. Специалисты технологий обработки больших массивов данных и их взаимосвязей (Big Data) могут узнать и семейное положение, и предпочтения в еде, и политические активности. Все эти сведения в ежедневных терабайтах «потребляют» бизнесмены, предлагая пиццу нужного вкуса или новости о нравящемся кандидате в президенты. И пока эксперты ещё определяются с тем, что можно, а что нельзя относить к термину Big Data и стоит ли нам бояться «всевидящего ока», профилирование пользователей соцсетей уже вдохновляет сотни стартаперов и студентов, оттачивающих мастерство дата-аналитики. 

Например, студенты и сотрудники Университета ИТМО совместно с Национальным университетом Сингапура создали алгоритм, определяющий семейное положение пользователей c точностью до 86%, используя данные трех соцсетей. Исследователи объединили данные из Twitter, Instagram и Foursquare и утверждают, что параметр «семейности» угадывается с точностью до 86%, что на 17% точнее, чем по одной из соцсетей.

«Мы определяем не юридический статус человека, а занято его сердце или нет, – рассказал в эфире интернет-канала [Фонтанка.Офис] математик ИТМО Андрей Фильченков, один из разработчиков алгоритма. – Пока мы используем аккаунты на английском языке. Но факт остается фактом: если человек захочет проверить, есть ли кто-то у его девушки, то он сможет это сделать».

Андрей Фильченков попытался в прямом эфире проанализировать твиттер Дональда Трампа. Рабочий алгоритм использует для анализа средний размер твитта, наиболее частые объекты на фото, распределение чекинов и так далее. Проанализировав твитты Трампа, Андрей Фильченков пришел к выводу, что он… холост. «У него за месяц написаны десятки сообщений, – прокомментировал математик. – Хотя тут  мы отчасти определяем, и женат ли Трамп, и женаты или замужем его помощники, ведущие Твиттер».


В анализе открытых данных всегда есть один нюанс: если человек врет, то матрица бессильна. Например, известный факт, что мужчины чаще указывают в статусе, что они не в браке, а на самом деле все ровно наоборот. Кроме того, соцсети неохотно расстаются с любой информацией, даже открытой, если ее можно продать. 

«Соцсети очень чувствительны к тому, что данные используются без согласования с пользователями, – пояснил Андрей Фильченков. – Поэтому для нашего эксперимента данные собираются вручную, хотя могу легко написать алгоритм, чтобы автоматически скачивать информацию из того же Твиттера».

К данным пользователей трепетно относятся и российские соцсети. Например, «ВКонтакте» в конце января подала иск в Арбитражный суд Москвы к Double Data и Национальному бюро кредитных историй. По данным ряда СМИ, соцсеть требует прекратить использование данных пользователей для оценки их кредитоспособности.

Вопрос регулирования Big Data уже поднимается и на государственном уровне. Не далее чем в конце прошлого года Роскомнадзор заявлял о необходимости законодательного ограничения в вопросах идентификации человека в соцсетях и прогнозирования его поведения. Пока дело ограничилось рабочей группой под предводительством советника президента по Интернету Германа Клименко. На базе Координационного центра национального домена сети Интернет представители Минкомсвязи и игроки телеком-рынка будут пытаться понять, по каким параметрам Big Data можно зарегулировать.

Тем не менее, как считает соавтор алгоритма предсказания семейного положения Ксения Бурая, которую цитирует ИТМО, профилирование пользователей могут использовать, например, рекрутеры, чтобы узнать больше о людях, которые устраиваются на работу. 

«Если говорить глобально, характеристика личности по активности в соцсетях позволит вычислять членов опасных группировок, а также находить людей, склонных к депрессии или самоубийству, и предлагать им своевременную помощь», – поясняет Ксения Бурая, которая в эти дни представляет разработку в Сан-Франциско, на тематической научной конференции.

«Если не говорить о проектах, которые используют спецслужбы – Палантир в США, например, то мониторинг социальных сетей – самый распространенный из инструментов по работе с большими данными, – говорит и  основатель сервиса для аналитики и продвижения в мессенджерах Комбот Федор Скуратов. – Практически любой современный IT-проект работает с Big Data. А у термина, строго говоря, даже нет количественного обозначения. Что такое Big Data? 1 мегабайт, 100, терабайт? Количество записей в базе? В общем, коммерческим является все, что участвует в цепочке работы с данными, от баз до особо мощных видеокарт, заточенных под работу анализирующих эти данные нейросетей. Среди известных простому пользователю проектов – FindFace. А так... мы все сталкиваемся с Big Data каждый день, заходя в «Фейсбук».

Коммерческий директор Bell Integrator Александр Молодцов привел еще один пример широкого применения Big Data потребителями – сравнение ценовых предложений. «Такие сервисы, как «Яндекс.Маркет» и booking, базируются на Интернете, сайты знакомств, позволяющие осуществлять поиск по ряду параметров (возраст, образование, интересы), – тоже пример использования данной технологии».

Чисто коммерческие проекты, такие как интернет-таргетинг, быстрее адаптируются и находят свою нишу и своих клиентов. В решении остросоциальных вопросов Big Data пока мало помогает. Например, определить местоположение человека, попавшего в беду и не выходящего на связь с родственниками, технически можно в считанные секунды. Однако законодательная база не предусматривает такого быстрого взаимодействия.

«Загвоздка в методах преподнесения этой информации, – уверен доцент кафедры интеллектуальных технологий в гуманитарной сфере ИТМО Андрей Куркин. – На Западе такая работа активно используется, в логистике например. В России это только зарождается. Сейчас, конечно, анализируют визуальные образы – распознание лица. Например, это система видеонаблюдения в аэропорту, когда путем поведенческого анализа можно определить, что пассажир ведет себя нестандартно. Это для студентов практические и дипломные работы. Государство такой заказ пока не формирует. Потом эти студенты идут работать в разные компании, в «Сбертех», «Яндекс», Гугл.

По данным генерального директора "ТМТ Консалтинг" Константина Анкилова, в России рынок Big Data занимает менее 1% от глобального. По итогам 2016 года он составил около 22 млрд руб. По оценкам эксперта, объем мирового рынка Big Data приближается к $ 40 млрд. По словам Константина Анкилова, сегодня даже в мире 60% рынка Big Data занимают поставщики оборудования и софта и только 40% приходятся, собственно, на пользовательский сервис.

«Сегодня в России основным потребителем данной технологии являются банки, – уточняет Александр Молодцов. – Банки используют Big Data с точки зрения двух основных направлений: анализ поведения клиента и предоставление клиентам различных срезов информации». Так, например, в конце 2016 года Сбербанк запустил проект «Открытые данные» – продукт на основе технологии Big Data. Проект призван предоставлять информацию, касающуюся финансовой активности клиентов. Любой человек может зайти на сайт и узнать о средних суммах на кредиты, оценить количество заявок, сравнить динамику зарплат в разных регионах.

Меж тем светлое будущее в плане динамики развития у Big Data, несомненно, есть. «У нас есть студенты действительно интересующиеся, с большим багажом. Это заметно. Они хотят понимать, как использовать данные из социальных сетей, чтобы потом их продать», – говорит доцент ИТМО Андрей Куркин.

Моральные вопросы студентов, по словам профессора, не мучают совсем. «Никто не любит, когда за ним подсматривают, с другой стороны, в соцсетях все происходит добровольно, – говорит Андрей Фильченков. – Анализировать, что показывается в соцсетях, интересно. Если вы не любите, когда за вами смотрят, для вас это минус. Если вам нравится, когда за вас выбирают пиццу, которую вы любите, – это для вас плюс».

Андрей Фильченков, воодушевившись информационным успехом алгоритма определения «занято – свободно» в отношении семейных статусов, предсказывает, что к 2018 году все мы будем окружены всевозможными средствами сбора данных и их анализа. «И это не может нести негативные последствия, например, в медицинской диагностике. Своевременная информация о том, что человек может получить рак в течение 5 лет, – это здорово, – уверен соавтор нашумевшего «семейного распознавателя». – Этот процесс не повернуть вспять. А там глядишь и к искусственному интеллекту подойдем».

Что же касается страхов о способностях государства анализировать собранную о нас информацию из соцсетей, то пока очевидно можно констатировать лишь интерес профильного бизнеса к потенциальным государственным контрактам. В конце минувшего года «О пользе и вреде больших данных» петербуржцам рассказывала президент ГК InfoWatch Наталья Касперская.

Николай Нелюбин, специально для «Фонтанка.ру».


Подписывайтесь на канал "Фонтанка.ру" в Telegram или Viber, если хотите быть в курсе главных событий в Петербурге - и не только.

добавить комментарий
Помните, что все дискуссии на сайте модерируются в соответствии с правилами блога. Если вы видите комментарий, нарушающий правила сайта, сообщайте о нем модераторам.
комментарии пользователей (19)
11 февраля 2017 г. 00:33
anarchist: это не обязательно, у вас есть мобильный телефон? Вы уже анализируетесь, сколько тратите на связь, вовремя или нет пополняете счет, где территориально бываете, если пользуетесь интернетом, то куда ходите и состав трафика
8 февраля 2017 г. 23:01
anarchist: И поисковыми сервисами в Интернете никогда не пользовались? И товары покупаете только за наличные? И смартфона с мобильным интернет-доступом у вас нет? И в блогах не тусите ни разу :).
8 февраля 2017 г. 22:56
Предсказывали пяток лет назад, что Big Data рано или поздно столкнётся с этической стороной вопроса. Как и генетика.
8 февраля 2017 г. 22:54
nuga:
Какой бред.Лженаука.
Да-да. Ещё нейронные сети, генетические алгоритмы, map-reduce и пр.
Лучше пошли в реальное производство,
А ничего, что реальное производство уже вовсю использует аналитику Big Data — в планировании, логистике, имитационном моделировании и т. д.? И в госуправлении — термин Smarter Cities ни о чём не говорит? Понимаю, надо своих молодых спецов загнать гайки крутить, пофиг, что эти спецы востребованы во всём технологически развитом мире, который уже давно роботов приспособил в "реальное" производство. Но у нас особый путь. Скоро в школьном аттестате ничего, кроме основ православной культуры не останется.
8 февраля 2017 г. 17:04
Swebaka: ... ))) как вариант... у предложения должно быть и развитие. для широты восприятия ))) — куда потом (рекомендуется) применить лопатку.
СМИ2
MarketGid News
Infox
24СМИ. Агрегатор
Lentainform
Недвижимость и комфорт тесно связаны: мнение магазина «МногоСна»
Магазин «МногоСна», который специализируется на спальных принадлежностях и ортопедических матрасах, объявил о расширении раздела своего каталога, нацеленного, в первую очередь, на владельцев загородной недвижимости – дач, коттеджей.
Tele2
Петербургские абоненты Tele2 передали миллионы поздравлений
В праздничные дни 23 февраля и 8 марта абоненты Tele2 сделали 219 млн звонков и отправили более 155 млн сообщений. Общая продолжительность звонков в День защитника Отечества и Международный женский день, превысила 558 млн минут, что на 8% больше, чем год назад.
Tele2
Tele2 – один из лучших работодателей России по версии HeadHunter
Tele2 второй раз подряд вошла в ТОП-100 лучших работодателей России по версии HeadHunter. За год компания поднялась в рейтинге на 9 пунктов и заняла в нем 14-ю строку.
 Setl City
Квартиры от Setl City покупатели рассматривают в первую очередь
При выборе жилья в Санкт-Петербурге и Ленинградской области покупатели в первую очередь рассматривают квартиры от застройщика Setl City – таковы результаты исследования, проведённого Ярмаркой недвижимости и исследовательской компанией Infowave.
Tele2
Tele2 приглашает на зимний сезон фестиваля STEREOLETO
Tele2 стала партнером музыкального фестиваля STEREOLETO: Winter Session, который пройдет в День защитника Отечества. Своим новым абонентам оператор дарит возможность попасть на концерт на особых условиях
uralairlines.com
«Уральские авиалинии» ведут набор на самую романтичную профессию
Хорошая новость для всех, кто мечтал о небе, самолетах и девушках: «Уральские авиалинии» с началом весенне-летнего сезона расширяют штат и объявляют набор на должность бортпроводника!