Одноклассники борются с токсичными комментариями при помощи ИИ

Одноклассники стали временно ограничивать пользователей, которые пишут оскорбительные комментарии, сообщили в блоге компании.

Одноклассники внедрили модель машинного обучения, позволяющую автоматически выявлять токсичные комментарии и ограничивать их авторов в написании новых на определённый промежуток времени — от одного часа до 24 часов, в зависимости от того, как часто пользователь оставляет негативные высказывания в адрес других. Это сократить долю и количество негативных высказываний под постами, фотографиями и видео на 47%.

Мы видим по запросам пользователей, что у нашей аудитории есть потребность в пространстве для безопасного и уважительного общения: треть всех жалоб на платформе связаны с негативными, по мнению пользователей, комментариями, а 80% обращений в службу поддержки по поводу комментариев нацелены против “токсичности”. Мы обучали эту модель больше года и продолжим совершенствовать её в дальнейшем. Вместе с другими продуктовыми решениями, которые мы внедрили за последние два года, ограничение токсичных комментаторов позволит соцсети не только быстрее вернуть на платформу редко посещающих ОК пользователей, но и привлечь новых, — директор по продукту ОК Александр Москвичев.

По данным исследования ОК, негативные посты вызывают злость у более чем 40% пользователей, принявших участие в опросе. ML-модель была обучена на 400 тысячах негативных высказываний.