Facebook представила систему машинного обучения Rosetta, которая в режиме реального времени извлекает текст из более чем миллиарда опубликованных в соцсети изображений и видео на разных языках, а затем распознает их контекст.

Принцип работы

Rosetta выполняет одновременно два независимых друг от друга процесса: обнаружение областей, которые могут содержать текст, и распознавание слов с помощью сверточной нейросети Faster R-CNN на архитектуре ResNet18.

Алгоритм распознает английский, арабский, хинди, немецкий, испанский и другие языки, включая те, что имеют горизонтальное написание справа налево, диакритические знаки и другие специфические символы.

В будущем корпорация постарается научить систему распознавать большее количество языков, видов нанесения текста и шаблонов изображений.

Использование

Facebook собирается использовать Rosetta для выдачи более персонализированной ленты новостей, а также отслеживания спама, оскорбительного или запрещенного контента. Сейчас его сортируют операторы и это занимает много времени.

Источник: tproger.ru

Подписывайтесь на «Код Дурова» в Telegram и во «ВКонтакте», чтобы всегда быть в курсе интересных новостей!