Пользователей «ВКонтакте» от травли в комментариях будет защищать нейросеть

Социальная сеть «ВКонтакте» объявила о появлении специального фильтра для борьбы с враждебными высказываниями. В его основе лежит нейросеть. Фильтр можно включить и отключить в настройках сообщества в любое время. Функция уже появилась у владельцев 50% пабликов, а в скором времени станет доступна всем, сообщили в пресс-службе соцсети 26 февраля.

На данный момент алгоритмы умеют определять прямые угрозы — пожелания смерти, угрозы причинением вреда здоровью, угрозы расправы. В будущем разработчики обещают, что фильтр сможет видеть, например, травлю по национальной или религиозной принадлежности.

«Тестирование фильтра было запущено в ноябре 2020 года. За этот период функцией уже воспользовались руководители свыше 10% всех сообществ «ВКонтакте» — это 13 млн публичных страниц, групп и мероприятий. Администраторы сообществ оценили работу нейросети — среди подключивших фильтр комментариев от него впоследствии отказались лишь 1,8%. При этом многие писали в поддержку с просьбой активировать функцию», — отмечает команда «ВКонтакте».

Интересно, что для создания алгоритмов, которые понимают разговорную речь, использовалось большое количество русскоязычных текстов — например, субтитры из фильмов, сериалов и видео. Нейросеть содержит в себе специальный механизм внимания, позволяющий принимать решения на основе важности слов и их комбинаций. Разработчики изучают логику принятия решений — это позволяет исправлять ошибки, учитывать контекст и эффективнее обучать алгоритмы. Сейчас нейросеть правильно определяет угрозы в 80% случаев, и команда продолжает работать над её улучшением.