Машинное обучение поможет Twitch ловить забаненых нарушителей

Компания Twitch продолжает бороться с оскорблениями на своей платформе. Недавно она вооружилась новым инструментом, который с помощью машинного обучения способен выявлять пользователей, пытающихся обойти "бан".

Новый инструмент под названием Suspicious User Detection ("Выявление подозрительных пользователей") идентифицирует пользователей как "вероятных" или "возможных" нарушителей, пытающихся обойти блокировку. Лежащая в основе инструмента модель машинного обучения выявляет потенциальных уклонистов путем сравнения их поведения и характеристик учетной записи с информацией из заблокированных учетных записей.

Сообщения от пользователей, помеченных как "вероятные" нарушители, не будут отображаться в чате Twitch, но стримеры и модераторы смогут их видеть. Стримеры и модераторы смогут сами выбирать, мониторить ли "вероятного" уклониста (в таком случае пользователь будет добавлен в список мониторинга, и его сообщения будут помечены как подлежащие мониторингу) или заблокировать его. Сообщения "возможных" уклонистов будут отображаться в чате, но стримеры и модераторы смогут на свое усмотрения блокировать их.

Как сообщили в Twitch, инструмент Suspicious User Detection будет включен по умолчанию. Стримеры и модераторы также смогут вручную выбирать пользователей для мониторинга, чье поведение покажется им подозрительным.

"Единственное, к чему нужно быть готовым, в особенности сразу после запуска (Suspicious User Detection - ред.), - ни одна модель машинного обучения не может быть на 100% точной, а значит, возможные ложноположительные и ложноотрицательные результаты. Поэтому Suspicious User Detection сам не "банит" возможных и вероятных нарушителей. Когда речь идет о сообществе, экспертами являетесь вы, и это вы должны принимать окончательное решение, кто может участвовать. Инструмент будет обучаться на предпринимаемых вами действиях, и в итоге точность его прогнозов со временем должна повыситься", - сообщается в блоге Twitch.