05.08.2022 в 14:43

«Яндекс Браузер» научился переводить и озвучивать по-русски прямые эфиры на YouTube — задействовано сразу четыре нейросети

В «Яндекс Браузере» появилась возможность синхронно переводить и озвучивать на русском языке не только видео, уже выложенные в общий доступ на YouTube и Vimeo, но и делать тоже самое в реальном времени для онлайн-трансляций — озвучка возможна прямо по ходу эфира. Новая функция пока доступна в режиме открытого бета-тестирования и ограничена фиксированным набором каналов.

 Источник изображения: yandex.ru

Источник изображения: yandex.ru

За 10 месяцев пользователи «Яндекса Браузера» просмотрели 81 млн роликов с закадровым переводом, пишут разработчики «Яндекс Браузера». После этого стал доступным перевод в формате титров, а сейчас настал черёд прямых эфиров. Автоматизированный синхронный перевод — задача сложная. Одному иностранному слову в зависимости от контекста могут соответствовать несколько русских, поэтому в идеале нейросети необходимо «скормить» как можно больше текста. Однако при работе в режиме реального времени это крайне трудная задача, поскольку задержка должна быть минимальной.

Поэтому потребовалось перестроить всю архитектуру автоматизированного перевода, задействовав сразу несколько нейросетей: первая распознаёт звуковой ряд и переводит его в текстовый формат, вторая определяет пол говорящего человека, третья расставляет знаки препинания и смысловые акценты, а четвёртая уже получает результат работы третьей и собственно производит перевод и озвучку.

Список поддерживаемых системой YouTube-каналов доступен на специальной странице. В перспективе разработчики «Яндекс Браузера» планируют добавить синхронный перевод к стримам в Twitch. Сейчас нейросети «Яндекса» работают с английским, немецким, французским, итальянским и испанским языками, позже будут добавлены ещё несколько европейских языков, а также японский, китайский и другие.

Источник новости: 3DNews.ru
7 просмотров

Оставить комментарий

Популярные статьи

Как установить Internet Explorer на Mac OS

прочтений: 12910 23.12.2015 в 19:12
У разработчиков различных программных продуктов очень часто возникает необходимость тестирования своих новых наработок в разных браузерах. Но если для основной работы используются, например, компьютеры... Читать далее
Браузер Opera Mini как для Android, так и для остальных мобильных ОС, на которых он выпущен (Symbian, iOS, Windows Phone), имеет встроенную функцию сохранения страниц веб-сайтов с дальнейшей возможностью их просмотра без подключения... Читать далее
Часто возникает необходимость сохранять различные страницы в Интернете для последующего их использования. И отлично справляется с этим такая функция браузера, как добавление закладок и, конечно же,... Читать далее
В отличие от браузера Google Chrome, в котором функция сохранения страницы в PDF является встроенной, в Firefox и Opera это достигается установкой специальных расширений и плагинов.... Читать далее
Облако тегов