Голосовой перевод яндекса в других браузерах
Наконец-то нашёл этот скрипт,который позволяет использовать переводчик в других браузерах. Работает после предварительно включения ВПН.
GitHub — ilyhalight/voice-over-translation: Небольшое расширение, которое добавляет закадровый перевод видео из YaBrowser в другие браузеры
Небольшое расширение, которое добавляет закадровый перевод видео из YaBrowser в другие браузеры — GitHub — ilyhalight/voice-over-translation: Небольшое расширение, которое добавляет закадровый пере.
Огромное спасибо разработчику скрипта.
В «Яндекс Браузере» появился голосовой перевод трансляций в режиме реального времени
Компания «Яндекс» запустила в собственном браузере закадровый перевод прямых трансляций. Сообщается, что подобных решений нет ни у кого в мире.
Нейросеть переводит на русский сразу с нескольких языков: английского, испанского, немецкого, французского и итальянского. При этом сеть понимает сразу несколько акцентов. Например, она может понять британский, американский английский, а также тот же язык, но из уст индийцев или африканцев.
Чтобы онлайн-перевод трансляций работал, необходимо сразу пять нейросетей, работающих последовательно:
- Сначала идёт расшифровка речи в текст. Из-за специфики процесса эта нейросеть отличается от той, которая работает в «Алисе».
- Затем по частотам определяется пол говорящего, чтобы подобрать подходящего диктора.
- Третья нейросеть выделяет в тексте законченную часть.
- После этого текст переводится на русский язык.
- Пятая нейросеть озвучивает его.
Пока озвучка трансляций доступна лишь на отдельных каналах в тестовом режиме. Среди них, например, NASA, Apple, TED, TEDx, Google и другие каналы. Полный список можно посмотреть на специальной странице, посвящённой функции перевода трансляций.
«Яндекс» запустил синхронный голосовой перевод прямых трансляций на русский язык
В браузере «Яндекса» теперь можно смотреть зарубежные прямые трансляции роликов на YouTube сразу на русском языке. Сообщение об этом появилось на сайте компании.
Технология работает благодаря нейросетям, которые автоматически переводят текст на видео с пяти иностранных языков и озвучивают его. На данный момент ею можно воспользоваться при просмотре стримов, на которых в оригинале присутствует английская, немецкая, испанская, итальянская или французская речь.
Пока синхронный голосовой перевод доступен только для нескольких каналов. В их числе Apple, Google, TechCrunch, SpaceX, TED и другие. Работает технология в режиме открытого бета-тестирования.
В ближайшее время компания планирует тестировать переводы с азиатских языков, включая китайский и японский. Но когда они будут доступны для всех пользователей, пока неясно.
Также «Яндекс» намерен внедрить технологию на стриминговые площадки помимо YouTube. Например, на сервис с прямыми эфирами Twitch. Но это требует времени — функция появится на платформе не раньше 2023 года.
Представители компании отметили, что для запуска технологии синхронного перевода прямых трансляций пришлось поменять механику, которая использовалась для перевода обычных видео. Раньше нейросеть получала аудиодорожку всего ролика, что сильно облегчало задачу.
Для перевода прямых трансляций «Яндекс» использует сразу несколько нейросетей. Первая распознает аудио и превращает его в текст. Вторая определяет пол спикера по биометрии. Третья расставляет знаки препинания и выделяет смысловые фрагменты текста. Четвертая получает готовый текст, переводит его и озвучивает на русском языке мужским или женским голосом.
Автоматический закадровый перевод полностью загруженных видео на YouTube «Яндекс» добавил в сентябре 2021 года. В ноябре появилась возможность смотреть видео, которые в оригинале звучат на французском, испанском и немецком.
Как установить голосовой перевод Яндекса в другие браузеры
Как известно, некоторое время назад в Яндекс.Браузере появился потоковый голосовой переводчик трансляций (вот подробная статья о том, как он вообще устроен), который работает прямо-таки здорово!
Оказывается, его можно встроить и в другие браузеры — Chrome, Firefox и Safari. Делается это легко и просто в два шага (способ обнаружил вот здесь).
1. Сначала нужно установить расширение Tampermonkey (там на странице расширения в закладке сверху нужно выбрать свой браузер).
2. После этого под данное расширение нужно установить специальный скрипт (в открывшемся окне нажать кнопку «Установить»).
И все, после этого на видео YouTube у вас появится кнопка потокового перевода. Работает хорошо, я проверял. Бывает, что нужно подождать, чтобы перевод был готов, но в Яндекс.Браузере — то же самое.
Вот можете оценить качество — это из FireFox.