программная альтернатива Google Global Cache

я знаю что тут бывает достаточно много программистов и не знаю где ещё написать чтобы заметили. насколько сложно будет написать программу которая создаст на компах простых людей альтернативу GGC? велика вероятность что в конечном итоге РКН банально забанит все российские, а возможно и все мировые GGC по айпи и обойти этот блок ни гудбаем ни запретом будет нельзя.

конечно вы можете сказать что можно использовать впн но это имущественный ценз на пользование ютубом в стране где большинство получает около 200 долларов в месяц, и кроме того впн-сервера регулярно банят, впн-сервер это единая точка отказа, хозяин впн может запретить трафик к ютубу увидев нагрузку на узел, скорость впна часто ниже чем провайдерская, да и оплатить впн российской картой это тот ещё геморрой, а регистрировать зарубежную ещё больший геморрой для большинства.

как может работать программа создающая альтернативу GGC:

  1. программа открывает порт на компе и служит прокси-сервером.
  2. браузер запрашивает у программы видеоролик
  3. программа запрашивает через DHT у кого из простых людей есть этот ролик (идентификатором можно сделать не хеш а ID видео вида JQy2NMkg82A)
  4. программа посылает браузеру пользователя видео а сама кеширует его на диске пользователя чтобы другие могли скачать и с этого пользователя тоже.

такой принцип уже реализован здесь Freenet — Википедия но там сеть медленная из-за анонимизации и шифрования, а тут ничего шифровать не нужно, всё что требуется от пользователя - открыть порт на роутере чтобы иметь возможность раздавать кешированные ролики и много места на диске.

к сожалению я сам не программист и не смогу создать такую программу, тем более не смогу её поддерживать в плане багфиксов. но может быть кто-нибудь заметит это предложение и сделает что-то подобное.

Ceno Browser, вроде, именно это и делает: просматриваемый контент кэшируется и раздаётся другим пользователям.

Типо некий Ютуб торрент но это нужно чтоб у юзеров было куча свободного места на hdd и комп 24/7 онлайн.

Вспомнил времена DC++, прослезился :smiling_face_with_tear:

Нужно настроить сервер и поставить расширение для браузера.

цели ясны задачи определены. Будем хакатонить

ну это отдельный браузер надо ставить, а хотелось бы программку которую можно добавить как службу винды или модуль systemd и все браузеры могли бы к ней обращаться.

насколько я понял эта штука скачивает твои подписки на диск, но не позволяет делиться видосами с другими желающими. это всё-таки немного не то, то что я хочу посмотреть лично я могу и через yt-dlp скачать и смотреть, а хочется распределённого GGC который бы невозможно было бы заблокировать.

Это, конечно, интересно, но не стоит забывать, что оборудование будет стоять дома (а не в отдельном дата-центре с мощными каналами связи). А как быть с ограниченной пропускной способностью домашнего канала?
Иными словами, подключу я такую штуку у себя дома - и не смогу нормально интернетом пользоваться…
И какой ПК нужен будет (минимально по характеристикам)? Понятно, что он должен будет подключен (и включен постоянно).

Раз стали предлагать разные варианты, хотелось бы тогда и свой вариант предложить.

Есть у нас замечательный blockcheck. А если сделать на его основе программные пробы (например, для openWrt) и распространить? Стоит такая проба у меня и отсылает возможные варианты обхода в некий центр. А потом те, у кого такой же провайдер и похожие условия, могут воспользоваться этими рекомендациями по настройке обхода.

Хотя, наверное, это тоже малореально.

Как я понял могут смотреть другие, если в расширении браузера зайдут в учетку, созданную на сервере. Или я это путаю с каким-то другим продуктом.

такая штука по идее должна расходовать только канал на отдачу. ты скачиваешь себе ролик и какое-то время у тебя он хранится, и ты можешь его отдавать другим страждущим.

теоретически ещё можно сделать возможность скачивать особо востребованные ролики и раздавать их другим, тогда и канал на скачку будет заниматься. выглядеть это может так

  1. программа сидит в рое DHT и принимает запросы уровня “нет ли у тебя ролика с ID o-fBigx4xbw”?
  2. если за последнее время к ней приходит много запросов с таким ID но самого ролика нет то программа его скачивает и раздаёт страждущим.

а количество запросов при которых ролик будет скачиваться и скорость скачки/отдачи можно сделать настраиваемыми как в торент-клиентах.

И какой ПК нужен будет (минимально по характеристикам)?

ну если её на какой-нибудь джаве напишут то может быть требовательной, а вообще это по сути наполовину кеширующий сервер наполовину торент-клиент, а и те и другие прекрасно работают на любом железе произведённом за последние 20 лет.

были же какие то решения на базе торрентов
ace stream ?
можно было смотреть торренты “не качая” (целиком имелось ввиду)
как я понимаю там одновременно и скачиваешь у сидов и отдаешь пирам

причем “сервер” раздающего также может быть web-seed
если писать свой софт

ну и всякие eMule/eDonkey

есть еще аналоги AeroFS
вроде GitHub - syncthing/syncthing: Open Source Continuous File Synchronization

p.s. на самом деле тут как с самими торрентами и другими p2p “хранилищами”
вопрос в кол-ве юзеров. если это 10-100 человек у которых нет 24/7 ПК с быстрыми каналами…
так же возможности клиента отдавать контент через разные роутеры и NAT провайдеров

Впишите сюда текст цитаты

ютубом пользовались и пользуются десятки миллионов людей в России. если хотя бы 1% из них установит такую программу - это уже будет в разы больше чем пользователей тора в России, и сравнимо со всей численностью участников тора в мире.

спрос на обход блокировок бешеный, а появление простого и бесплатного решения на уровне “запустил, указал сколько интернет-канала и места на диске забрать и всё” - не требующего знания линукса, прошивки роутеров под опенврт, запуска скриптов - будет иметь запредельный успех.

Есть TorrServer. Как раз это делает. К браузерам цепляется элементарно. Для мобилок есть клиент.

Просто поднять базу торрентов с ютуб видосами и использовать эту хрень с ней.

PeerTube позволяет зрителям дополнительно раздавать видео другим во время просмотра. Но он непопулярен. Настолько непопулярен, что там единицы просмотров и поэтому вся нагрузка на сервер.

Если честно, то идея с народным кэшем мне совсем не нравится. Постараюсь объяснить, почему (сама я таким решением пользоваться не стану).
Я не знаю, кто как, а лично я смотрю Ютуб в качестве развлечения. Ткну, например, один ролик, посмотрю несколько минут, потом переключусь на другой, и с ним так же, несколько минут посмотрю, потом выключу. Могу просто музыку поискать какую-нибудь, послушать (через колонки). Одноразово.
Если мне что-то понравится (так, чтобы потом не раз возвращаться), то я лучше скачаю себе на диск.
И я не хочу, чтобы эти мои одноразовые (для просмотра) видеоролики оседали у кого-то на диске ненужным хламом, занимая дисковое пространство, которое может быть использовано с большей пользой.
Кроме того, я люблю использовать субтитры (перевод на русский).
Кроме того, у меня интересы специфические. Кроме котиков, мультфильмов и “про компьютеры” я еще люблю смотреть видео “на злобу дня” (скажем так). И я не хочу, чтобы они оседали в чьем-либо кэше (нет никакого желания).
Ну и забивание каналов связи конечно же (которые в домашних условиях весьма ограничены по сравнению с каналами провайдеров или дата-центров).
Мое личное мнение. Лично я до последнего буду стараться использовать анти-DPI (мне очень понравился zapret, хотя он сложный в настройке, но это лучшее, что я видела), а когда и это перестанет работать, то увы… придется отвыкать от хороших интернет-ресурсов (заменителями Ютуба не буду пользоваться в принципе).

Как ни крути, наиболее устойчивым к блокировкам, остаётся self hosted решения на небольшую группу.

Нужно учитывать то, что осевший у пользователя кэш делает его — пользователя — распространителем информации. Даже если речь идёт о видео с котиками — завтра дед может ляпнуть, что предпочитает собак, а кошки — дети Сатаны и наследники Гитлера. И вот, послезавтра, пользователь числится экстремистом и клеветником, потому что это не закон имеет обратную силу, а преступление — длящееся. То есть кэшировать нужно не голые данные, а маломальски обфусцированные, например, сжатием, и не целыми файлами, а фрагментами, распределёнными по нескольким пользователям. Однако, подобные телодвижения бессмысленны, поскольку отвечать перед законом придётся тому, кого проще упаковать и оформить, либо же всем, раздающим фрагменты злополучного видео, как ОПГ или террористической ячейке. То есть сама идея подобного кэширования в наших условиях обречена.
Также вы не учли того, что раздача кэша сопряжена с повышенным износом накопителей, к которому устройства домашнего класса не подготовлены. Да, можно ограничить износ правилами и очередями, но это снизит и отдачу от такого решения.

можно придумать что угодно, и что за просмотр ютуба завтра поведут босиком на расстрел. но пока что все страшные угрозы и красные линии кончаются непростыми решениями и жестами доброй воли, а бояться богатыря в дупле который уже два года воняет не получается.

а хдд не изнашиваются, у меня есть диск который с 2003 года работает и до сих пор ни одного битого пикселя.