Как получить список файлов в чужой папке яндекс диск?
Вот есть ссылка на папку в Яндекс диске, https://disk.yandex.ru/d/eQ5SzEybu_WYdg. А есть код который скачивает всю эту папку архивом:
import requests from urllib.parse import urlencode base_url = 'https://cloud-api.yandex.net/v1/disk/public/resources/download?' public_key = 'https://disk.yandex.ru/d/eQ5SzEybu_WYdg' final_url = base_url + urlencode(dict(public_key=public_key)) response = requests.get(final_url) download_url = response.json()['href'] download_response = requests.get(download_url) with open('downloaded_file.zip', 'wb') as f: f.write(download_response.content) Есть какой-то способ до скачивания всего, узнать список папок и файлов в ссылке и скачать только файлы из определенной папки?
Как бесплатно получить 20 ГБ на Яндекс.Диске навсегда
Вы пользуетесь облачными хранилищами? Впрочем, о чём я спрашиваю. Конечно, пользуетесь. Даже если ваш iPhone имеет достаточно встроенной памяти, вряд ли вы отказываете себе в том, чтобы сгрузить фотографии, видеозаписи или другие данные в облако. Другое дело, что бесплатно облачные сервисы предлагают совсем малые объёмы свободного пространства, вынуждая оплачивать дополнительное пространство на ежемесячной основе. Но это не значит, что получить бесплатное место в облаке нельзя совсем. Можно, просто нужно знать, где его искать.
Яндекс.Диск позволяет получить 20 ГБ бесплатно
Яндекс запустила программу, каждый участник которой может совершенно бесплатно и навсегда получить 20 ГБ свободного пространства на «Яндекс.Диске». Её суть состоит в том, чтобы привязать свой почтовый адрес к новому комплексному сервису «Яндекс.Почта 360». Сама компания описывает его как виртуальное рабочее пространство, где можно не только отправлять и получать письма, но и быстро переключаться на другие полезные сервисы. В «Почту 360» входят собственно «Почта», «Диск», «Телемост», «Календарь», «Заметки» и «Мессенджер.
Как увеличить место на Яндекс.Диске
Привязка аккаунта к «Яндекс.Почте 360» совершенно ни к чему вас не обязывает. Вам не придётся регистрировать новый аккаунт, поскольку пакет сервисов привязывается к уже существующему, позволяя бесплатно пользоваться базовым тарифом. Его основное преимущество – дополнительные 20 ГБ в облаке, которые даются вам навсегда.
- Чтобы получить 20 ГБ на «Яндекс.Диске», откройте сайт Яндекса и авторизуйтесь со своей учётной записью;
Дополнительные 20 ГБ на Яндекс.Диске может получить каждый
- Перейдите по этой ссылке и подтвердите получение бесплатных 20 ГБ на «Яндекс.Диске»;
- Если вам не понравится интерфейс «Яндекс.Почты 360», его можно вернуть, перейдя по этой ссылке;
При желании вы можете отключить Почту 360, но 20 ГБ уйдут вместе с ней
- Здесь необходимо нажать на кнопку «Вернуться в обычную Почту из экспериментальной».
Что предлагает Яндекс.Почта 360
Именно так начинает выглядеть Яндекс.Почта после подключения Почты 360
Правда, помните, что переход в обычную почту из экспериментальной влечёт за собой одно неприятное последствие – те 20 ГБ в облаке, которые вы только что получили, сгорят. Поэтому, прежде чем отключаться, я бы 10 раз подумал. Тем более что и интерфейс почтового сервиса меняется незначительно: разве что пиктограммы ещё шести служб Яндекса появляются над цепочками ваших писем. Как по мне, довольно небольшая плата за 20 ГБ в облаке, которые добавляются к уже имеющимся независимо от объёма и статуса учётной записи.
Впрочем, преимуществ у «Яндекс.Почты 360» на поверку оказывается даже больше, чем просто 20 ГБ в облаке. Правда, доступны они уже будут только за деньги от 79 рублей/месяц. Вот основные фишки платного тарифа:
- Отключается вся реклама, которая пропадает как в веб-версии, так и в приложениях Яндекса;
- Служба поддержки начинает работать быстрее и отвечает на ваши запросы в течение трёх часов;
- В «Яндекс.Почте» будут автоматически выделяться главные письма;
- Видео с телефона будут автоматически загружаться в безлимитный раздел «Яндекс.Диска»;
- История изменений файлов на «Яндекс.Диске» будет увеличена с 14 до 90 дней;
- Файлы с публичных ссылок из «Яндекс.Диска» можно будет скачивать без ограничений.
Как перенести музыку из Apple Music и Яндекс.Музыки в Spotify
«Яндекс.Почта 360» предлагает несколько тарифов на выбор стоимостью от 79 до 1119 рублей в месяц. При единовременной оплате годовой подписки расценки снижаются примерно на 20%, что довольно выгодно. Однако ключевая разница между тарифами состоит в объёмах облачного хранилища, доступ к которым они предлагают. Если за 79 рублей вы будете довольствоваться только подарочными 20 ГБ и блокировкой рекламы на сервисах Яндекса, то за 1119 рублей получите всё вышеперечисленное и 5 ТБ в придачу.
Разрезать и залить видео на Яндекс.диск — бесплатно
Предлагается рассмотреть программу на python, которая позволит в рамках бесплатного тарифа «Яндекс.диска» нарезать и заливать видеофайлы, размеры которых превышают 1 Гб (требование тарифа), получать ссылки на них. Никакой магии — только api «yandex.диска» и немного python.
Предисловие. Небольшое
Погрузившись в познание нейросетей мимо меня как-то мимо прошла новость о том, что ресурс, на который была возложена миссия по спасению и переносу видеофайлов стал платным. Речь, конечно, о «Яндекс. диске».
Какое-то время с этим можно было мириться, так как для «старых» аккаунтов вроде как были небольшие послабления — еще можно было залить файл с превышением размера, только если он по габаритам помещался в оставшееся место на облаке. Но потом и эту «лавочку прикрыли» — только не более 1Гб.
В воздухе повисла пауза и необходимость как-то заливать файлы либо вообще забыть про ресурс.
Но, как говорится, «старый друг лучше новых двух», поэтому пришлось заглянуть в api «яндекс. диска», а, заодно, поискать быстрый splitter видео, чтобы экономить целых 199 р. в месяц на «старом друге».
К программе нарезки видео
Идея программы проста: дробим видео по 1Гб, заливаем на «яндекс.диск» (далее по тексту — «Я»), делаем ссылки на части видео публичными (доступ по ссылке), получаем ссылки на видео в txt.
В поисках проекта по корректному и быстрому разрезанию видео нагитхабилось несколько репозиториев. Но не все они оказались рабочими, а из рабочих — быстрыми и результативными.
В итоге, самым результативной оказалась программа (назовем ее split.py), использующая ffmpeg:
import subprocess,os class Split: def __init__(self,maxSize,path): '''Size of the chunks in MB and path to save the pieces''' self.maxSize = int((maxSize-10) * 1024) self.path = path def splitVid(self,file): '''File to split''' video_size = os.path.getsize(file) video_size = video_size / 1024 video_duration = subprocess.run(["ffprobe", "-v", "error", "-show_entries", "format=duration", "-of", "default=noprint_wrappers=1:nokey=1", file], stdout=subprocess.PIPE).stdout.decode('utf-8') pieces_duration = round(float(video_duration) / (int(video_size / self.maxSize) + 1)) subprocess.run(["ffmpeg", "-i", file, "-c", "copy", "-f", "segment", "-segment_time", str(pieces_duration), "-loglevel", "quiet", "-reset_timestamps", "1", f"part%02d_vid.mp4"])Вызывать ее будем из другого скрипта (example.py):
from split import Split splitter = Split(1000,"./") splitter.splitVid("video.mkv")где 1000 — это размер в Мб, который превышать нельзя, а video.mkv — видео для нарезки.
Вроде бы все в части нарезки видео. Но, оказалось, с Я не все так просто.
Общение с api «яндекс.диска»
Для того, чтобы можно было пользоваться ресурсом, необходим токен, благо он бесплатный.
Получить его просто, пройдя ряд шагов, не вызывающих сложностей по созданию приложения на «яндексе». На получении токена останавливаться не будем, статей на эту тему достаточно.
Перейдем непосредственно к программе.
В основу положена библиотека из репозитория — yadisk.
Устанавливается вспомогательный модуль как обычно —
pip install yadiskЕсть также ее async сестра — yadisk-async.
С ее использованием при общении с Я тоже не все безоблачно, но об этом позднее.
Однако в пределах одного взятого файла (видеофрагмента большого размера) async проигрывает по скорости загрузки, проверено экспериментально.
В репо yadisk есть простые команды для общения с Я по api.
Мы перейдем сразу к рекурсивной загрузке всех файлов из папки на нашем локальном диске.
import posixpath import os import yadisk #windows version from time import sleep y = yadisk.YaDisk(token="токен") # Создаёт новую папку "/test-dir" print(y.mkdir("/test-dir")) to_dir = "/test-dir" from_dir = "to_upload" #проверка свободного места #print(y.get_disk_info().FIELDS) fields=y.get_disk_info().FIELDS free_space=(fields['total_space']-fields['used_space'])/1048576 trash=fields['trash_size']/1048576 print(f"свободное место на yandex disk: Мб", ) print(f"корзина занимает: Мб", ) def recursive_upload(y, from_dir, to_dir): for root, dirs, files in os.walk(from_dir): p = root.split(from_dir)[1].strip(os.path.sep) dir_path = posixpath.join(to_dir, p) #print(dir_path) #try: #y.mkdir(dir_path) #except yadisk.exceptions.PathExistsError as e: #print(e) #pass for file in files: file_path = posixpath.join(dir_path, file) #print(file_path) #p_sys = p.replace("/", os.path.sep) in_path = os.path.join(from_dir, file) print(in_path) try: y.upload(in_path, file_path) except yadisk.exceptions.PathExistsError as e: print(e) #pass recursive_upload(y, from_dir, to_dir) print("залито") #print(list(y.listdir("/test-dir"))) for f in list(y.listdir(to_dir)): y.publish(f'/') # make file public with open ("links.txt", "a") as l: for f in list(y.listdir("/test-dir")): print(f.FIELDS["public_url"]) #public url l.write(f.FIELDS["public_url"]+'\n') print('готово')
Программа для os windows. Разберем код.
Из локальной папки to_upload заливаются в папку test-dir на Я все ранее нарезанные видеофрагменты.
Также предварительно выводится свободное место на yandex disk и размер заполненной корзины, чтобы самому оценить вероятность успеха, а не дожидаться ошибки.
Далее, с помощью
y.publish(f'/документации.
Выход из сложившейся ситуации простой — заливать файлы, удалив у них расширения. То есть вместо «video.mp4», закачивать «video».
Поэтому, в программу рекурсивной загрузки файлов добавим одну строку, которая будет удалять расширение файла перед загрузкой:
os.rename(f'/',f'/')
Блок кода примет вид:
for file in files: os.rename(f'/',f'/') file_path = posixpath.join(dir_path, file)
Ремарка по async версию программы
Переименование файлов перед загрузкой на ресурс Я не спасает программу по async загрузке от вылета. Это происходит только при заливе крупных файлов и, вероятно, из-за timeout — issue.
Тем не менее, версию программы с async можно заставить работать, увеличив timeout.
Например, рабочий код (протестирован на видео фрагментах) может выглядеть вот так:
async def main(): print("token valid: ",await y.check_token()) print("заливаю. ") async with aiofiles.open("ghosted_1", "rb") as f: await y.upload(f, "/test-dir/ghosted_1",timeout=100) print("залил") if __name__ == '__main__': loop = asyncio.get_event_loop() loop.run_until_complete(main()) loop.close()
Послесловие
Оглядываясь назад, можно задать вопрос — стоят ли 199 р. таких трудов? Все равно ведь залитые видеофрагменты дробятся по 1Гб и при просмотре с ресурса Я будут немного вызывать неудобства при просмотре. Однако, этот вопрос — на обсуждение. Здесь лишь приведен вариант решения проблемы, с которой столкнулся автор.
- яндекс.диск
- обработка видео
- хранение файлов
- Python
- Хранение данных
- Облачные сервисы
Как узнать размер яндекс диска
В яндекс диске не заявлено ограничение на размер файла в 2 ГБ (в отличии от mail.ru облака).
Но все равно приложение яндекс диска не загружает файлы больше 2 ГБ в облако, красный крестик на файле при просмотре в приложении яндекс диска.
Кто-нибудь с таким сталкивался?
Ставил и старое приложение и новый яндекс диск 3.
Ограничение есть и на яндексе, и на мейле, снимается на платных тарифах.
(0) а задать вопрос разработчикам?
(1) ограничение у яндекса в 10 гб на файл в бесплатном тарифе, у mail.ru в 2 гб на файл.
(2) не смог найти никаких контактов поддержки, все ссылки ведут только на вопрос-ответ.
Только на этой неделе засунул в бесплатный тариф 10гб файл.
Да выдается предупреждение, но файл закачивается
хм.. фильм под 4Гб (чуть меньше) закачался нормально.
другого файла больших объемов под рукой не оказалось, чтобы проверить.
цитата:
"Загрузка файлов и папок на Диск
С помощью браузера можно загрузить файлы размером не более 10 ГБ. Для загрузки файлов больше 10 ГБ используйте программу Яндекс.Диск (в версии для Windows, для macOS или для Linux) или WebDAV-клиент. Максимальный размер файла на Диске — 50 ГБ."