Яндекс запустил автоматический перевод видео с английского
Используя Яндекс.Браузер на компьютерах или мобильных устройствах, можно англоязычный ролик в автоматическом режиме перевести на русский. Чтобы это сделать, необходимо открыть видео на английском языке в браузере и нажать на кнопку «Включить», появляющуюся над окном с роликом. После этого нужно подождать пару минут, пока Яндекс занимается переводом и создает новую аудиодорожку.
Итоговый результат звучит как закадровый двухголосый перевод. Громкость основной аудиодорожки приглушается, а сгенерированный Яндексом перевод выходит на первый план. Есть и женские голоса, и мужские (женский позаимствовали у Алисы).
Автоперевод видеозаписей в Яндексе. Изображение: yandex.ru
Для перевода и озвучки искусственный интеллект Яндекса обычно использует субтитры, но если их нет, то система сначала берется за распознание речи и превращает получившийся контент в текст. По сути, создаются свои субтитры, и они уже потом озвучиваются. Если верить комментариям под оригинальным постом, то в Яндексе рассмотрят вариант создания субтитров для видео на русском языке без закадровой озвучки (наподобие тех, что автоматически генерируются в YouTube).
Уже сейчас автопереводом можно воспользоваться практически на всех популярных площадках в духе YouTube или Vimeo. Видео лишь должно быть доступно для просмотра всем желающим, включая нейросети Яндекса, которые занимаются переводом.
На разработку технологии в текущем виде у Яндекса ушел год. В будущем компания планирует добавить больше языков и больше голосов.
«Яндекс Браузер» научился пересказывать содержимое видео при помощи нейросети YandexGPT
Компания «Яндекс» рассказала о полезном нововведении, которое уже доступно пользователям браузера — пересказ содержимого видео.
Функция позволит определиться с тем, стоит ли тратить время на просмотр ролика, а также поможет быстро перейти в интересующему фрагменту в случае, если автор видео не позаботился о таймкодах.
Расшифровка происходит с помощью YandexGPT — нейросеть распознает речь, а затем генерирует текстовое описание с разбивкой на разделы. Для использования функции нужно нажать на клавишу «Краткий пересказ» в окне с роликом.
Пользоваться расшифровкой можно в мобильной и веб-версиях браузера, а также на сайте https://300.ya.ru/. Новая функция пока работает лишь с русскоязычными роликами. А в сентябре «Яндекс Браузер» научили переводить любые трансляции на YouTube с пяти иностранных языков.
Как вам материал?
Комментарии 4
Наслаждайтесь общением. Критикуйте сообщения, а не авторов. Меньше токсичности, больше любви ❤️
Пришелец-AAI95475
3 месяца назад
Изменено автором
Лучше бы он научился переводить видео не только с ютуба но и нормально с других источников, например с Вконтакте или с Одноклассников (там перевод не работает от слова совсем). Многие видео отлично удаляют с ютуба типа по жалобами правообладателей. Я так ужо 2 сериальчика не смог полностью досмотреть. А на Одноклассниках они лежат себе спокойно и не кто их не удаляет
«Яндекс» обвинили в использовании чужой идеи в сервисе перевода видео
Непубличное акционерное общество «Оллмай.блог» 1 сентября подало иск против «Яндекса» в Aрбитражный суд города Москвы, следует из информации в картотеке дел. Истец — одно из юрлиц сервиса AllMyBlog, который занимается автоматизацией процесса размещения, локализации и монетизации видео на международных видеоплатформах. Как говорится в исковом заявлении (копия есть у РБК), AllMyBlog просит признать размещенную на сайте «Яндекса» информацию о том, что компания разработала технологию машинного перевода видео, не имеющую аналогов в мире, не соответствующей действительности и порочащей деловую репутацию истца. Последний также просит суд обязать «Яндекс» указать, что это не новая технология, что подобные разработки велись в том числе командой AllMyBlog и что интернет-компания видела первые результаты работы этого продукта, презентационные материалы с описанием технологии и сопроводительное письмо с предложением о возможном сотрудничестве.
Что известно об истце
Из иска следует, что AllMyBlog в феврале этого года создал продукт Taradam, который позволяет переводить видеоконтент на 56 языков мира. Являясь партнером «Яндекса» по другим проектам (в частности, размещали блогерский контент на платформе «Яндекс.Эфир»), 24 мая AllMyBlog отправил интернет-компании презентацию с описанием технологии и предложением о сотрудничестве. Переговоры длились до 7 июля, однако на следующий день «Яндекс» заявил о собственной разработке роботизированного перевода видео в своем браузере.
Taradam — это Telegram-бот. Для работы с ним необходимо отправить ссылку на YouTube-видео или файл с видеоконтентом. Бот попросит выбрать исходный язык и один или несколько языков перевода и после оплаты услуги, цена которой зависит от языка и длительности видео, Taradam выдаст пользователю ссылку или файл на переведенный контент. По словам основателя AllMyBlog Кирилла Калашникова, в своем иске компания не требует денег, но для него «принципиальный момент, чтобы никто не выдавал его идею за свою». Он рассказал, что AllMyBlog работал с «Яндексом» с 2019 года в области дистрибуции видеоконтента. Тогда же владельцы сервиса получили запрос, что российский контент интересен в Китае, и начали заниматься переводом. «Видео блогеров, которые в России, например, набирают по 80 тыс. подписчиков и 200 тыс. просмотров, в Китае могли собрать 2 млн подписчиков и 4–5 млн просмотров при условии, что представили подходящий контент с переводом на китайский язык. Мы увидели большие перспективы», — рассказал Калашников.
Киберпонедельник на РБК Pro
Скидки до 76% на подписку
и образовательные опции
По его словам, «Яндекс», увидев работу компании, запросил математические модели, презентации, было несколько встреч с акционерами компании (но с кем именно — Калашников не назвал). В том числе сервис рассчитывал привлечь инвестиции «Яндекса». «Был подписан NDA (соглашение о неразглашении. — РБК) о передачи технологии, но в июле компания неожиданно отказалась от сотрудничества и в тот же день опубликовала ролик, в котором заявила о работе над аналогичным продуктом», — рассказал собеседник РБК. Он также подчеркивает, что AllMyBlog выложил свой продукт в открытый доступ раньше «Яндекса» — 1 июля.
При этом Калашников предположил, что «Яндекс» «мог украсть технологию случайно». «Компания стала очень большой, мы передавали информацию о технологии одному департаменту, но она могла попасть и в департамент, который в итоге запускал сервис перевода», — рассуждает он.
Какие перспективы у иска
Сотрудник пресс-службы «Яндекса» заявил, что они категорически не согласны с утверждениями и требованиями AllMyBlog, изложенными в иске. По его словам, они не использовали и не используют какие-либо разработки AllMyBlog и не вели никаких переговоров об инвестициях с этим сервисом. Представитель «Яндекса» настаивает, что первые обсуждения проекта для перевода видео в интернете начались в компании в сентябре 2020 года. Он настаивает, что компания не запрашивала у AllMyBlog какие-либо математические модели и другие компоненты технологии, наоборот, представители сервиса предложили сотрудничество по собственной инициативе. «Предложение не заинтересовало «Яндекс», — говорит сотрудник пресс-службы компании. — К тому моменту у «Яндекса» уже была готова первая внутренняя сборка-прототип «Яндекс.Браузер» с новой функцией». Он также отметил, что в функции перевода видео компания использует собственные технологии: машинный перевод, биометрию, распознавание и синтез речи. Представитель «Яндекса» напомнил, что 16 июля компания публично анонсировала появление функции перевода видео в «Яндекс.Браузер» и рассказала принципы ее работы: перевод видео будет осуществляться бесплатно по нажатию на одну кнопку — пользователю не нужно будет что-то дополнительно скачивать или устанавливать, пользоваться какими-то сторонними платформами или дополнительным программным обеспечением. Технология сама распознает язык оригинала видео и после нажатия на кнопку переводит его моментально или за несколько минут — в зависимости от длины ролика. «Судя по общедоступной информации, этот подход существенно отличается от проекта, реализуемого Taradam. На официальном сайте данного проекта говорится, что для перевода необходимо открыть Telegram-бот, загрузить в него ссылку на ролик, выбрать язык оригинала, оплатить данную услугу и подождать, пока сервис переведет видео», — пояснил представитель «Яндекса».
Партнер юридической фирмы «Томашевская и партнеры» Роман Янковский отмечает, что создание конкурирующих продуктов очень часто происходит одновременно. Он допустил, что «Яндекс» мог интересоваться альтернативным продуктом, «но в России идеи не защищаются законом — защищается только конкретный объект интеллектуальной собственности: произведение, компьютерный код и т.д. Если я приду в «Яндекс» и скажу, что у меня есть идея летающего такси, они могут меня послушать, покивать, подписать NDA, а через год запустить свое летающее такси, и я не смогу у них ничего отсудить», — указал Янковский. По его словам, если «Яндекс» не копировал конкретный программный код, то шансов на успех в суде у AllMyBlog практически нет. То, что «Яндекс» подписал NDA, по мнению юриста, также «ни о чем не говорит»: «Яндекс» согласился не разглашать некую информацию, но выпуск похожего проекта не значит, что он ее разгласил. Компания могла выпустить альтернативный сервис, не пользуясь чужими инсайдами».
Протестировал нейросеть Яндекса, которая синхронно переводит видео голосом. Теперь смотрю только так
В закладки
В 2021 году Яндекс Браузер получил крупное обновление, в котором добавилась функция автоматического перевода и озвучки видео на популярных платформах, вроде YouTube.
На старте был доступен только английский язык. С тех пор прошло 2 года, а список поддерживаемых языков вырос до пяти:
• английский
• немецкий
• испанский
• французский
• китайский
И вот только недавно я открыл для себя этот мощный функционал и понял, насколько он удобен. Решил посмотреть WWDC 2023 с помощью нейроозвучки, чтобы не пропустить ничего важного.
Да, всегда есть субтитры, но к ним у меня особое отношение. Ими удобно пользоваться, но при этом тебя эта функция буквально притягивает к экрану, ты не можешь отвлечься, если не знаешь языка или тебе нужно выполнять параллельно другие задачи.
С тем же WWDC мне требовалось писать большое число статей одну за другой, а на слух английский язык я воспринимаю далеко не идеально. Поэтому гораздо удобнее, когда кто-то синхронно переводит презентацию: пишешь текст и одновременно слушаешь, что рассказывают .
Если на старте функция позволяла озвучивать на русском языке только отобранные видео, то сейчас она спокойно справляется и с прямыми трансляциями, что очень удобно. Причем ты даже можешь отличить одного спикера от другого — им подбираются разные синтезированные голоса.
Как вообще устроен синхроперевод и как им пользоваться? Разбираемся.
Как работает автоперевод видео в Яндекс Браузере
Для реализации функции Яндекс использовал технологию сервиса Переводчик, речевые технологии и биометрию. Примечательно, что в озвучке видео принимает участие не одна, а сразу шесть нейросетей.
Первая. Определяет язык говорящего. Если он говорит на поддерживаемом языке, то браузер предложит перевести содержимое на русский.
Вторая. Переводит речь в текст. В полученной модели создается аудиодорожка, из которой нейронка удаляет лишние звуки. Она же удаляет слова-паразиты, делая итоговый текст «чище».
Третья. Нормализует текст и расставляет знаки препинания.
То есть она получает набор переведенных слов, составляет из него грамотные предложения и занимается пунктуацией, сохранив изначальный смысл.
Нейросети передается определенный выделенный контекст, чтобы она могла лучше понять, о чем идет речь в ролике. А затем она сама расставляет все по смыслу. Но иногда требуется чуть больше времени. В случае стриминга это будет компромиссом между качеством и задержкой.
Если мы не уверены, нужно ли разбивать на предложения в данном месте, то можем подождать чуть дольше, пока не придут новые слова. Тогда мы либо лучше определимся с разбиением, либо превысим ограничение по контексту и будем вынуждены разбивать там, где почти уверены.
Четвертая. Определяет количество спикеров, их пол и применяемые местоимения. Вычисляется тип голоса (мужской или женский) по частоте звучания: у мужчин — 80—150 Гц, у женщин — 150—250 Гц.
Пятая. Занимается переводом текста на русский язык.
Шестая. Синтезирует речь и синхронизирует её с роликом. Она делает паузы одновременно с говорящим человеком, а также соблюдает его темп речи, иногда ускоряясь или замедляясь.
Как работает автоперевод трансляций
Схема работы переводчика
Понятное дело, что стрим — это не уже готовый ролик. Его нельзя заранее проанализировать и наложить озвучку.
Если в первом случае нейросеть получает уже целую аудиодорожку и работает с ней, то во втором такого запаса времени нет. Приходится работать в режиме синхронного перевода по создающейся дорожке.
По этой причине технологии немного отличаются, но языковые модели используются те же самые. В случае с трансляциями на помощь приходит третья нейросеть, ответственная за нормализацию речи. Она распознает начало и конец предложения, выделяет вводные слова, определяет сложносочиненные предложения и так далее.
Как только нейросеть расставит все знаки препинания, система определяет предложения с законченными мыслями и отправляет уже их на перевод.
Задержка при переводе прямых трансляций может составлять от 20 до 50 секунд. Неплохой результат, чтобы сильно не отставать от происходящего.
Особенно меня порадовало и то, что система умеет озвучивать разные голоса. И это, по всей видимости, появилось относительно недавно. Потому что на старте было доступно всего два голоса: один мужской и один женский. Теперь у каждого из них есть несколько вариаций звучания.
Как включить автоперевод видео
Функция перевода доступна на iOS, Android, Windows и macOS в приложении Яндекс или Яндекс Браузер.
Для запуска функции достаточно открыть любое видео на популярных платформах, вроде YouTube, Rutube, Vimeo и так далее. После включения ролика кнопка перевода появится автоматически. Останется только нажать на неё.
Для обычных роликов процесс запуска переводчика занимает пару секунд. А для трансляций обычно приходится сначала подождать около 15-20 секунд, если стрим только начался. А если он уже идет, то те же пару секунд.
Попробуйте, это очень полезная функция
Многие зарубежные видео недоступны на русском языке. Лишь редкие блогеры заказывают себе дубляж.
С помощью автоперевода в Яндекс Браузере эта проблема решается на раз-два. В пару кликов я уже смотрю ролик на русском языке и даже не мучаюсь от субтитров. Ничто не отвлекает, озвучка работает хорошо.
Единственное, лично мне не хватает «живости» самой озвучки. Хочется больше слышать похожих с оригиналом интонаций. Ну и пока функция работает далеко не со всеми стримами. Надеюсь, это исправят в скором времени.
(37 голосов, общий рейтинг: 4.70 из 5)
�� Хочешь ещё? Читай больше в Telegram
�� Ищешь ответ на вопрос? Приходи на Форум
В 2021 году Яндекс Браузер получил крупное обновление, в котором добавилась функция автоматического перевода и озвучки видео на популярных платформах, вроде YouTube. На старте был доступен только английский язык. С тех пор прошло 2 года, а список поддерживаемых языков вырос до пяти: • английский • немецкий • испанский • французский • китайский И вот только.
Артём Баусов
Главный по новостям, кликбейту и опечаткам. Люблю электротехнику и занимаюсь огненной магией. По всем вопросам пишите в Telegram: @TemaBausov