Facebook представила систему машинного обучения Rosetta, которая в режиме реального времени извлекает текст из более чем миллиарда опубликованных в соцсети изображений и видео на разных языках, а затем распознает их контекст.
Принцип работы
Rosetta выполняет одновременно два независимых друг от друга процесса: обнаружение областей, которые могут содержать текст, и распознавание слов с помощью сверточной нейросети Faster R-CNN на архитектуре ResNet18.
Алгоритм распознает английский, арабский, хинди, немецкий, испанский и другие языки, включая те, что имеют горизонтальное написание справа налево, диакритические знаки и другие специфические символы.
В будущем корпорация постарается научить систему распознавать большее количество языков, видов нанесения текста и шаблонов изображений.
Использование
Facebook собирается использовать Rosetta для выдачи более персонализированной ленты новостей, а также отслеживания спама, оскорбительного или запрещенного контента. Сейчас его сортируют операторы и это занимает много времени.
